Słowo o ocenach gier (wydzielony)

[cactusse]

(...)
I stwierdzam to wszystko z uśmiechem na ustach, bo wcale mnie ten film nie interesuje, nigdy go nie obejrzę (nawet dla zabawy czy dla przekonania) i zupełnie mnie nie interesuje jego historia. Ale ocena jest zupełnie nieobiektywna. Nawet jeśli jest zasadna

Skąd wiesz, że ocena jest zupełnie nieobiektywna ? Przykładasz do niej jakąś miarę obiektywności, czy oceniasz intuicyjnie, co oznacza, że serwujesz subiektywną ocenę obiektywności oceny, więc nadal nic nie wiemy

Heh...
Proste wnioskowanie logiczne wyklucza możliwość aby wielkość obiektywna była mierzona za pomocą wielkości subiektywnej.

Obiektywny, to jest taki, gdy obiekt oceniany jest niezależny od oceniającego. Innymi słowy obiektywna ocena byłaby wtedy gdyby wszyscy oceniający dali dokładnie taką samą ocenę.
Czyli np. obiektywnie to można zmierzyć długość czegoś, gdy stosuje się różne miarki zgodne ze wzorcem, w ściśle zgodnych warunkach fizycznych.

Hmm, jeżeli wszyscy zgodnie dadzą identyczną ocenę grę, czy to oznacza, że wynikowa ocena jest w pełni obiektywna ?
Jeżeli kilka osób się wyłamie, czy to zmniejsza obiektywność oceny czy całkowicie ją unieważni ?
Jeżeli zaczniemy dokładać kolejnych oceniających i jedna wartość wyjdzie na wierzch, czy to zwiększy obiektywność oceny ?
Czy w takim razie nie możemy ocenić obiektywności oceny patrząc po liczbie i rozkładzie głosów ?

[Kin@a]

Myślałem, że już jako takie obycie z materiałami w otaczającym nas świecie każdy ma, i nie jest to nasze pierwsze zetknięcie się z papierem, kartonem, drewnem, plastikiem, itp.
Ja już po zetknięciu się po raz pierwszym w swoim życiu z grami planszowymi gdzieś na początku lat 90 zauważyłem, że dosyć szybko się niszczą.
Dlatego mój niedawny (w 2018) powrót do tego hobby skutkuje tym, że nie zagram w żadną grę dopóki nie założę koszulek na karty
I nie interesuje mnie to, że część osób napisze, że grała już ze 200 razy w daną grę (bez koszulek) i ocenia karty na pancerne

Nie interesuje Cie gdyż nie masz wiedzy, że to możliwe bo są takie rodzaje papieru i jego wykończenia skutkujące tym, że koszulki są zbędne
"Jako takie" czyli może być różne w tym byle jakie, jeśli ktoś miał do czynienia tylko z byle czym. Czy jeśli każdy "pije piwo/wino" to znaczy, że jego opinia równa się opinii kipera?

Swoją drogą gdyby nastała moda na "koszulkowanie" butów (które też się dosyć szybko niszczą) to ich jakość by się jeszcze bardziej pogorszyła, gdyż producenci by mogli wręcz robić buty z tektury - ponoć kiedyś była zabawna anegdotka jak ludzie kupili atrapy butów jako prawdziwe i im się rozpadały na spacerze kiedy zaczął padać deszcz.

[wrojka]

Też się podpinam i oddaję pełnię racji rajowi

Również manipulowanie uzyskaną oceną przez odrzucenie ocen skrajnych może nie dać racjonalnych wyników, gdyż co to jest ocena skrajna? 1 i 10? A czemu nie 2 i 9? Skoro cześć osób może zdawać sobie sprawę z tego, że rankingi tego typu posiadają algorytmy odsiewające 1 i 10, może próbować je oszukać poprzez danie innej oceny.

Można iść z tym myśleniem dalej w mechanizm paradoksu kata i odrzucać kolejno 1i10, 2i9, 3i8, 4i7 bo wszystkie są skrajne po odrzuceniu tego, co skrajne było przed chwilą. Zostaniemy z samymi 5i6 [a i te możnaby odrzucić], więc dojdziemy do sytuacji gdzie trzeba patrzeć na cyfry po przecinku, które staną się odwzorowaniem procentowym, np. 5.39 w skali od 5 do 6 daje niejako 39%.
Jedyna sensowność w odrzucaniu wyników skrajnych jest przy małej próbce danych. Ewentualnie trzeba uważać na ostatnimi czasy popularny review bombing.

Teoretycznie, jeżeli nie chcielibyśmy się sugerować oceną wszystkich ludzi, to należałoby się skierować w stronę rekomendacji gier na podstawie graczy, którzy są do nas 'najbardziej podobni'.
X ocenił Spirit Island wysoko? Ty oceniłeś Spirit Island wysoko? +1 do waszej 'podobności'.
X ocenił Monopoly nisko? Ty oceniłeś Monopoly nisko? +1 do 'podobności'
On wysko, ty nisko? -1
Trochę jak z ulubionymi recenzentami, którzy mają gusta zbliżone do naszych.

[dannte]

Lubię takie dyskusje, pozwólcie, że nie zgodzę się z kilkoma "oczywistymi" stwierdzeniami (oczywistymi w cudzysłowie, bo co innego jest oczywiste dla różnych osób)
Jestem ciekaw czy uda mi się Was przekonać do zmiany punktu widzenia

Obiektywny, to jest taki, gdy obiekt oceniany jest niezależny od oceniającego. Innymi słowy obiektywna ocena byłaby wtedy gdyby wszyscy oceniający dali dokładnie taką samą ocenę.
Czyli np. obiektywnie to można zmierzyć długość czegoś, gdy stosuje się różne miarki zgodne ze wzorcem, w ściśle zgodnych warunkach fizycznych.

I tu mi się nasuwa taki przykład: dajmy na to, że masz grupę 100 osób - całkiem zróżnicowana: kobiety, mężczyźni, niscy, wysocy, starzy, młodzi. I po kolei ustawiasz każdego w tym samym miejscu i każesz ocenić odległość "stąd" do "tamtego drzewa" (odległość ta rzeczywiście wynosi 200m) - każdy może ocenić ją tak jak chce - zmierzyć linijką, telefonem, krokami, łokciami, stopami, itp., a nawet ocenić wzrokowo. Jeśli potem wyliczysz średnią i wyjdzie ok. 200 m, to przypadek? A jeśli nie znasz tej rzeczywistej odległości i średnia wyszłaby 222m to uwierzyłbyś, że to aż tyle, albo tak mało? Czy raczej stwierdził, że to zbyt losowy zestaw danych, żeby ten pomiar traktować poważnie? Taki materiał do przemyśleń ("food for thought" - określenie, które często lubię stosować)
Oczywiście nie jestem w stanie ocenić, czy gdyby ta odległość wynosiła 10km to wyniki byłyby jakkolwiek miarodajne, ale zakładamy, że jest to coś co można łatwo ocenić (tak jak sporo gier możesz łatwo ocenić po 2-3 rozgrywkach - czy Ci się podobają czy raczej nie).
Ale jeśli już grupa osób by wzrosła ze 100 do 10000 to myślę, że wynik mógłby być bliższy 200m (chyba, że generalnie człowiek ma problemy z oceną odległości, nawet orientacyjnie ją mierząc)

Sam widzisz, że w/w elementy (a nie wiem czy to wszystko, czy coś jeszcze można tu wpisać) mogą zupełnie zmienić ocenę danej gry.
A my tu jeszcze mówimy o wyciągnięciu jakiejś średniej z tego miszmaszu
Może i jakiś 3po3 wniosek można z tego wyciągnąć, ale życie mnie nauczyło, że mój gust często rozmija się z takimi ocena (np. BGG i filmweb).
Nie byłbym taki pewny czy 8/10 to w moim przypadku 22% vs 78%

Ha! I tutaj się właśnie wkrada ten błąd poznawczy (popraw mnie jeśli się mylę) - Ty patrzysz na to z perspektywy siebie, a nie z perspektywy statystyki. Ty będziesz należał do tych 22% i będziesz wkurzony, bo przecież gra miała większą szansę się spodobać, a się nie spodobała - jak to możliwe?

Ba, może być 5 gier 9/10 i żadna Ci się nie spodoba - to nie oznacza, że ich oceny są złe, a raczej to, że jesteś w grupie tych 11%.
Wyobraź sobie sytuację odwrotną: poza Tobą jest inna grupa (pozostałe 89%), którym każda z tych gier się spodoba. W związku z tym 89% będzie mieć korzyści z tego, że dana gra została wyceniona na 9/10, a tylko 11% takich korzyści mieć nie będzie.

Oczywiście upraszczam troszkę te wartości, ale wiesz o co mi chodzi. Patrząc tylko na siebie, stwierdzisz, że te oceny są g**no warte. Może nawet być tak, że Ty i 5 osób z twojej grupy będzie mieć to samo zdanie. Z twojej perspektywy wychodzi na to, że nie ma szans, że 9/10 może się podobać aż 89% ludzi - przecież 6/6 osób z twojej grupy nie polubiło tej gry. Ale nie bierzesz pod uwagę, że na Wasze 6 osób przypada gdzieś 49 innych osób, którym się ta gra spodoba. Kolejne "food for thought"

Ludzie lubią klikać oceny, lajki, budować sobie statystyki i to są znane mechanizmy socjologiczne obserwowane na portalach społecznościowych do jakich również bgg się zalicza.

Bardzo tego nie lubię. Pamiętam jak wychodził Love Letter: Infinity Gauntlet, to chyba nawet nie było jeszcze opublikowanego zestawu reguł, a ktoś wystawił na BGG jedyną ocenę: 1/10 - pomyślałem, że pewnie ktoś stwierdził "o nie, tylko nie Love Letter + o nie, tylko nie Marvel = to zasługuje na 1/10". Wysłałem prywatną wiadomość do niego z zapytaniem czy coś więcej wie o grze, czym mógłby się podzielić i co skłoniło go do takiej oceny. To odpowiedzi nie dostałem, bo po co odpisywać jakiemuś randomowi? Ja, gdy wyceniam jakiś film 1/10, to z chęcią odpiszę każdemu, kto mnie zapyta dlaczego ten film odradzam. Odradzał będę całym sercem i jeszcze bardziej! Szkoda, że w dzisiejszym świecie (nawet w tak trywialnych sprawach jak ocenianie zabawek) ludzie nie kierują się tym co trzeba, tylko tym co wolno.
Mam czasami wrażenie, że gdyby kradzież nie była karana to większość by kradła, bo tak łatwiej ("a bo nie zauważył, to se wziąłem"). Nie chcę tutaj nikogo obrażać i otwierać puszki Pandory - wiem, że jest coś takiego jak sumienie, ale ono nie bierze się znikąd, tylko z pewnych przyzwyczajeń i tradycji. Nie chcę wchodzić na filozoficzne dysputy nt. dobro vs zło - po prostu rzuciłem swój punkt widzenia takim luźnym przykładem.

[dannte]

I stwierdzam to wszystko z uśmiechem na ustach, bo wcale mnie ten film nie interesuje, nigdy go nie obejrzę (nawet dla zabawy czy dla przekonania) i zupełnie mnie nie interesuje jego historia. Ale ocena jest zupełnie nieobiektywna. Nawet jeśli jest zasadna

Skąd wiesz, że ocena jest zupełnie nieobiektywna ? Przykładasz do niej jakąś miarę obiektywności, czy oceniasz intuicyjnie, co oznacza, że serwujesz subiektywną ocenę obiektywności oceny, więc nadal nic nie wiemy

Rozumiem, że pytasz o to "skąd wiem", a nie "skąd tak przypuszczam"? Bo w moim poście wyjaśniłem czym się kierowałem w mojej ocenie sytuacji, że ta średnia jest zupełnie nieobiektywna (wszystkie oceny na IMDB możesz podejrzeć + wyjaśnienie do nich i stwierdzić, które są głupie i bezsensowne, a które poparte czymkolwiek miarodajnym). Nie mam prawa tego wiedzieć, ale mogę z dużą pewnością zakładać, że tak jest.

Często jak widzę średnią ocenę na BGG, to zaglądam w składowe tej oceny i te okraszone komentarzem są dla mnie najbardziej miarodajne, bo określają dlaczego ktoś na tyle grę wycenił.

[Grzdyll]

dyskutujemy sobie na temat tego jakie wnioski można wyciągać na podstawie różnych obserwacji. Co jest w tym złego?

Nie przeszkadza mi sama dyskusja na ten temat, bo w sumie jest ona ciekawa

Miałem się już nie udzielać, bo mam niemiłe wrażenie, że ciągle się powtarzam(y) i z naszą dyskusją buksujemy w miejscu, a brak reakcji innych użytkowników odbieram jako objaw skrajnego zniechęcenia naszymi rozważaniami ale dla mnie ta dyskusja też jest ciekawa i Wasze argumenty wciąż dają mi do myślenia więc pozwolę sobie warunkowo odwołać swój pas (w końcu nie gramy w brydża)

Tak jak pisałem wyżej: na podstawie oceny typu 8/10 możesz z całą pewnością stwierdzić, że jest 22%, że gra nie trafi w twoje gusta i 78%, że trafi, nie mając pojęcia czym kierowali się oceniający. Ale oczywiście zakładając, że 1/10 oznacza, że nikomu się nie spodoba (albo może 1% odbiorców), a 10/10, że spodoba się wszystkim (albo 99% odbiorców). Dla Ciebie to nielogiczne?

No i tu się całkowicie nie zgadzam. Jakkolwiek cały czas bronię tezy, że analiza subiektywnych ocen może dawać obiektywne wnioski tak z całą pewnością nie można oceny w skali porządkowej przekładać na żadne procentowe prawdopodobieństwo. Takie rzeczy można robić jedynie dla cech mierzalnych, gdzie "odległość" między poszczególnymi stopniami skali jest taka sama, tu z pewnością tak nie jest.

Heh...
Proste wnioskowanie logiczne wyklucza możliwość aby wielkość obiektywna była mierzona za pomocą wielkości subiektywnej.

A możesz na chwilę odłożyć na bok swoje standardowe adminowe podejście osoby, która przychodzi i protekcjonalnie mówi wszystkim jak jest i założyć, że moje "proste logiczne wnioskowanie" oraz znajomość pewnych prawideł statystycznych mówi mi, że właśnie wcale nie wyklucza? "Heh.."?

Czyli na odstawie rankingu bgg możemy szacować, że dana gra ma możliwość się nam spodobać.
Ale nie mamy takiej pewności, tylko tak szacujemy.

Tu się w pełni zgadzam, sam to parokrotnie pisałem i nie kłóci się to wcale z tym, że uważam średnią BGG za obiektywną (edit: po dalszej dyskusji nazwałbym ją "niezależną od obserwatora") T estymację tego, co gracze uznają za "dobrą grę".

Moja intuicja biznesowa jest zapewne kiepska ... gdyby miał mnie ocenić jakiś "spec"
Ale zobaczmy co alpha by zrobił...
Alpha na to pytanie odpowiedziałby, że pytanie jest ono oderwane od czynników wpływających na ostateczną decyzję

Oto dlaczego:
1. czy temat gry jest kontrowersyjny, czy nie?
2. czy temat gry to nie jest tzw. "chwilowa moda"?
3. jak została wybrana grupa osób oceniających? (bo jak już wcześniej wspomniałem, ja jako gracz ameri, mogę krzywdzić gry euro)
4. jw ale odnośnie wieku graczy, płci, itp.
5. czy jest "miejsce" na kolejną taką grę na rynku?
6. ile osób z PL kupiło ją już wcześniej w innym języku, czyli ilu potencjalnych klientów już "odpadło"?

I zapewne znalazłyby się jakieś inne elementy, których nie znam, bo nie jestem wydawcą.

Odpowiadając na Twój post (jak i na wcześnejszy T-shirtowy ) - niezależnie od wszystkich tu wymienionych i (niewymienionych) czynników średnia ocena wystawiona przez ludzi (nieważne czy ocena gier, kształtu, czy koloru T-shirtów) mimo, że jest w istocie niemierzalna (i oczywiście kolor zielony obiektywnie nie może być w niczym lepszy od czerwonego) i dla pojedynczego człowieka jest całkiem subiektywna i może w istocie nic istotnego nie znaczyć, to przy pewnej zbiorowości zaczyna dążyć do prawdy obiektywnej, jaką jest średnia "dobroć" tej gry, kształtu czy koloru T-shirta dla ludzi. Najlepszym empirycznym dowodem, że mam rację jest choćby to, że podejmując decyzję biznesową wyprodukujesz grę czy też T-shirt, który jest dla ludzi "najlepszy". I nie ma żadnego znaczenia czy ta "dobroć" wynika z jakości komponentów, marki, mody, hypu, reklamy czy też innych czynników. Ale bronię tezy, że jest to cecha obiektywna (w danym momencie czasu, rzecz jasna) (edit: ze względów semantycznych w toku dalszej dyskusji wycofuję się z nazwanie jej obiektywną).

Ciekawostka na marginesie:

1,2 na 10 to ocena, którą po pięciu lat od premiery film "Smoleńsk" osiągnął w serwisie IMDb. Tym samym stał się najgorszym filmem na świecie. Tym samym wyprzedził takie produkcje jak "Ptakodemia", "Ludzka stonoga III" czy "Hobgobliny".

Czy to coś obiektywnie mówi o tym filmie? Ocenę pozostawiam czytelnikom.

Jeśli chciałeś tym argumentem wesprzeć moje rozumowanie to... strzeliłeś mi w kolano Bo przytoczony przykład odpowiada właśnie jedynej sytuacji, dla której gotów jestem odejść od swojego zdania (i tu akurat raj bardzo trafnie ten element wypunktował), ponieważ u podstaw leży założenie, że ludzie wystawiają oceny na BGG rzetelnie, czyli szeregują gry wg prawdziwego kryterium chęci zagrania w daną grę, a nie robią tego w reakcji na ich dotychczasową ocenę (czyli żeby coś sztucznie obniżyć lub podnieść - a z tym przytoczonym filmem tak zapewne właśnie jest) . Zakładam, że przy skali BGG takie intencyjne "chwianie" ocenami to margines ale tego faktycznie nie wiem

Już o tym pisałem ale powtórzę - ogólnie średnia jest dobrą miarą tendencji centralnej przy rozkładzie zgodnym z normalnym, przede wszystkim jednomodalnym (czyli z jedną "górką" na wykresie frekwencji). Przypadek, gdy mamy dużo skrajnych ocen oraz mało środkowych to rozkład dwumodalny, w którym średnia jest praktycznie całkiem nieprzydatna i może wręcz wprowadzać w błąd (może ktoś pamięta ze statystyki żartobliwy przykład w którym ufoludek chce przebadać ile nóg mają istoty na Ziemi i analizuje tylko właścicieli wyprowadzających psy na poranny spacer i na tej podstawie stwierdza że średnio wszystkie istoty mają po trzy nogi )

Naprawdę dalej nie widzicie, że pomimo subiektywnej średniej (dającej jako taki pogląd na przyjemność z gry), dalej nie jest to ocena obiektywna, bo nie wiadomo czym się ktoś kierował oceniając daną grę?
(...)
Średnia takich wziętych z księżyca ocen, bazujących na zmiksowanych ze sobą różnych skalach, absolutnie nijak się ma do obiektywnego stwierdzenia czy gra jest dobra.

W mojej ocenie nie ma większego znaczenia, czym się ktoś kierował oceniając daną grę (z jedynym zastrzeżeniem tego co napisałem powyżej!). Średnia z wielu ocen subiektywnych nie jest wcale wzięta z księżyca bo bazuje na tej samej skali - która oczywiście indywidualnie może być różnie rozumiana ale póki "2" oznacza grę, w którą ktoś chętnie zagra niż w grę którą oceni na "1" to średnia (choć to nie najlepsza miara) pozwala ocenić która gra jest dla społeczności graczy "lepsza".

Zdumiewające, że tyle stron jest już na ten temat w tym wątku, opisujemy to już z rozkładem na czynniki pierwsze, a niektórzy dalej mają jakąś mgłę przed oczami i wyciągają wnioski odmienne od logiki?

Dla mnie zadziwiające jest dokładnie to samo, tylko w drugą stronę

[MichalStajszczak]

Hmm, jeżeli wszyscy zgodnie dadzą identyczną ocenę grę, czy to oznacza, że wynikowa ocena jest w pełni obiektywna ?

Myślę, że byłoby to ewentualnie możliwe tylko w przypadku gry tak złej, że wszyscy oceniliby ją na 1.

I tu mi się nasuwa taki przykład: dajmy na to, że masz grupę 100 osób - całkiem zróżnicowana: kobiety, mężczyźni, niscy, wysocy, starzy, młodzi. I po kolei ustawiasz każdego w tym samym miejscu i każesz ocenić odległość "stąd" do "tamtego drzewa" (odległość ta rzeczywiście wynosi 200m) - każdy może ocenić ją tak jak chce - zmierzyć linijką, telefonem, krokami, łokciami, stopami, itp., a nawet ocenić wzrokowo. Jeśli potem wyliczysz średnią i wyjdzie ok. 200 m, to przypadek?

Podany przez raja przykład dotyczy moim zdaniem sytuacji nieco innej. Mamy grupę osób, których zadaniem jest zmierzenie przy użyciu linijki długości np. ołówka z dokładnością do 1 cm. Jeżeli ołówek ma "obiektywnie" 10 cm, to z każdego "subiektywnego" pomiaru powinno wyjść tyle samo, niezależnie od tego, jak liczna będzie grupa

[alpha]

I nie interesuje mnie to, że część osób napisze, że grała już ze 200 razy w daną grę (bez koszulek) i ocenia karty na pancerne

Nie interesuje Cie gdyż nie masz wiedzy, że to możliwe bo są takie rodzaje papieru i jego wykończenia skutkujące tym, że koszulki są zbędne
"Jako takie" czyli może być różne w tym byle jakie, jeśli ktoś miał do czynienia tylko z byle czym. Czy jeśli każdy "pije piwo/wino" to znaczy, że jego opinia równa się opinii kipera?

Chętnie zobaczę taki papier co to bije na głowę pod względem pancerności inne materiały, które nie są odporne zarówno na porysowania, złamania, zabrudzenia, itp.
Wszelakie drewno, plastik i metal (nie wspominając o papierze) nie są odporne na w/w usterki, a tu papier miałby taki być?
Pisz gdzie taki dostać
Mi tam nawet same koszulki rysują się od tasowania i brudzą od dotykania (oczywiście dbam o gry, ale i tak z czasem to widać), więc papier bijący na głowę takie coś, to dla mnie byłby hit

Swoją drogą gdyby nastała moda na "koszulkowanie" butów (które też się dosyć szybko niszczą) to ich jakość by się jeszcze bardziej pogorszyła, gdyż producenci by mogli wręcz robić buty z tektury - ponoć kiedyś była zabawna anegdotka jak ludzie kupili atrapy butów jako prawdziwe i im się rozpadały na spacerze kiedy zaczął padać deszcz.

Takie buty są, tylko koszulkuje się je nie zewnętrznie, tylko wewnątrz kilku warstw składowych buta.
Są to wszelkiego rodzaju *-texy
I poza butami zimowymi, to nie nadają się właściwie do niczego innego, chociaż są tacy, co próbują przekonywać, że buty z *-texem można używać latem.
No w sumie można, czemu nie, tylko stopa nie oddycha. Jednak można

[alpha]

Spoiler:

I tu mi się nasuwa taki przykład: dajmy na to, że masz grupę 100 osób - całkiem zróżnicowana: kobiety, mężczyźni, niscy, wysocy, starzy, młodzi. I po kolei ustawiasz każdego w tym samym miejscu i każesz ocenić odległość "stąd" do "tamtego drzewa" (odległość ta rzeczywiście wynosi 200m) - każdy może ocenić ją tak jak chce - zmierzyć linijką, telefonem, krokami, łokciami, stopami, itp., a nawet ocenić wzrokowo. Jeśli potem wyliczysz średnią i wyjdzie ok. 200 m, to przypadek? A jeśli nie znasz tej rzeczywistej odległości i średnia wyszłaby 222m to uwierzyłbyś, że to aż tyle, albo tak mało? Czy raczej stwierdził, że to zbyt losowy zestaw danych, żeby ten pomiar traktować poważnie? Taki materiał do przemyśleń ("food for thought" - określenie, które często lubię stosować)
Oczywiście nie jestem w stanie ocenić, czy gdyby ta odległość wynosiła 10km to wyniki byłyby jakkolwiek miarodajne, ale zakładamy, że jest to coś co można łatwo ocenić (tak jak sporo gier możesz łatwo ocenić po 2-3 rozgrywkach - czy Ci się podobają czy raczej nie).
Ale jeśli już grupa osób by wzrosła ze 100 do 10000 to myślę, że wynik mógłby być bliższy 200m (chyba, że generalnie człowiek ma problemy z oceną odległości, nawet orientacyjnie ją mierząc)

Nie do mnie ale podepnę się

Obiektywne: odległość 200 m
Subiektywne: tyle ile każdy powie czy zgadnie

Jeżeli większość trafi poprawnie, to masz tylko szczęście, bo wyjdzie, że średnia subiektywna oddaje wartość obiektywną.

Zmieńmy jednak przykład:
Ta sama grupa ludzi ma na podstawie swoich własnych odczuć wypełnić ankietę i wybrać jedną z 3 opcji:
1. żyjesz na płaskiej ziemi
2. żyjesz na kulistej ziemi (wypukłej, czyli na powierzchni kuli)
3. żyjesz na kulistej ziemi (wklęsłej, czyli w środku kuli)

Nie można odwoływać się do zdobyczy nauki, ani do przeprowadzania doświadczeń.
W grę mają wchodzić własne odczucia i na tej podstawie zobaczymy co większość wybierze.
Chyba domyślasz się co wybiorą chyba wszyscy w 100%?
No i teraz mamy pewien zgrzyt w twierdzeniu, że średnia subiektywnych ocen upoważnia do obiektywnej oceny/prawdy

Spoiler:

Sam widzisz, że w/w elementy (a nie wiem czy to wszystko, czy coś jeszcze można tu wpisać) mogą zupełnie zmienić ocenę danej gry.
A my tu jeszcze mówimy o wyciągnięciu jakiejś średniej z tego miszmaszu
Może i jakiś 3po3 wniosek można z tego wyciągnąć, ale życie mnie nauczyło, że mój gust często rozmija się z takimi ocena (np. BGG i filmweb).
Nie byłbym taki pewny czy 8/10 to w moim przypadku 22% vs 78%

Ha! I tutaj się właśnie wkrada ten błąd poznawczy (popraw mnie jeśli się mylę) - Ty patrzysz na to z perspektywy siebie, a nie z perspektywy statystyki. Ty będziesz należał do tych 22% i będziesz wkurzony, bo przecież gra miała większą szansę się spodobać, a się nie spodobała - jak to możliwe?

Ba, może być 5 gier 9/10 i żadna Ci się nie spodoba - to nie oznacza, że ich oceny są złe, a raczej to, że jesteś w grupie tych 11%.
Wyobraź sobie sytuację odwrotną: poza Tobą jest inna grupa (pozostałe 89%), którym każda z tych gier się spodoba. W związku z tym 89% będzie mieć korzyści z tego, że dana gra została wyceniona na 9/10, a tylko 11% takich korzyści mieć nie będzie.

Oczywiście upraszczam troszkę te wartości, ale wiesz o co mi chodzi. Patrząc tylko na siebie, stwierdzisz, że te oceny są g**no warte. Może nawet być tak, że Ty i 5 osób z twojej grupy będzie mieć to samo zdanie. Z twojej perspektywy wychodzi na to, że nie ma szans, że 9/10 może się podobać aż 89% ludzi - przecież 6/6 osób z twojej grupy nie polubiło tej gry. Ale nie bierzesz pod uwagę, że na Wasze 6 osób przypada gdzieś 49 innych osób, którym się ta gra spodoba. Kolejne "food for thought"

Tylko, że ja przecież cały czas twierdzę, że pomimo braku obiektywizmu przy wyciąganiu ze średniej subiektywnych ocen, dalej mi to coś o tej grze powie
Przecież cały czas tak twierdzimy.

Mam wrażenie, że cała dyskusja opiera się o poniższe nieporozumienie

Każdy wniosek jest obiektywny

[rutra1992]

Naprawdę dalej nie widzicie, że pomimo subiektywnej średniej (dającej jako taki pogląd na przyjemność z gry), dalej nie jest to ocena obiektywna, bo nie wiadomo czym się ktoś kierował oceniając daną grę?
(...)
Średnia takich wziętych z księżyca ocen, bazujących na zmiksowanych ze sobą różnych skalach, absolutnie nijak się ma do obiektywnego stwierdzenia czy gra jest dobra.

W mojej ocenie nie ma większego znaczenia, czym się ktoś kierował oceniając daną grę (z jedynym zastrzeżeniem tego co napisałem powyżej!). Średnia z wielu ocen subiektywnych nie jest wcale wzięta z księżyca bo bazuje na tej samej skali - która oczywiście indywidualnie może być różnie rozumiana ale póki "2" oznacza grę, w którą ktoś chętnie zagra niż w grę którą oceni na "1" to średnia (choć to nie najlepsza miara) pozwala ocenić która gra jest dla społeczności graczy "lepsza".

Też miałem się już nie wypowiadać, bo ten temat kręci się w kółko od kilku stron, natomiast pozwolę sobie sprostować rzeczy dotyczące statystyki. To, że oceny są porządkowe używając tych samych cyferek nie oznacza, że są w tej samej skali i co za tym idzie są porównywalne. Można nimi robić jakieś testy A/B (ale tylko biorąc pod uwagę ludzi którzy ocenili obie gry, a nie tylko jedną z nich). Oceny na bgg, według statystyki są danymi ankietowymi, a aby móc wyciągnąć sensowne wnioski z takich danych skala musi być tak samo skalibrowana dla wszystkich ankietowanych (tu: użytkowników bgg). Jeśli jeden użytkownik ocenia grę na 9 bo bardzo chętnie w nią gra, drugi na 8, bo niby gra tak samo chętnie jak poprzednik, ale uważa, że w tej grze nie ma nic innowacyjnego, a trzeci na 6, bo niby chętnie gra, ale ani nic innowacyjnego, grafiki brzydkie, i papier jakiś cienki no to średnia z tych ocen nie ma kompletnie żadnej interpretacji. Dlatego w statystyce jest tak dział jak projektowanie badań, który odpowiada za takie tworzenie ankiet aby wnioski były interpretowalne. Ale, że zdecydowana większość tego nie robi poprawnie, to te wyniki są w prawie zawsze w ten czy inny sposób wypaczone

[Grzdyll]

Nie do mnie ale podepnę się

Zmieńmy jednak przykład:
Ta sama grupa ludzi ma na podstawie swoich własnych odczuć wypełnić ankietę i wybrać jedną z 3 opcji:
1. żyjesz na płaskiej ziemi
2. żyjesz na kulistej ziemi (wypukłej, czyli na powierzchni kuli)
3. żyjesz na kulistej ziemi (wklęsłej, czyli w środku kuli)

Nie można odwoływać się do zdobyczy nauki, ani do przeprowadzania doświadczeń.
W grę mają wchodzić własne odczucia i na tej podstawie zobaczymy co większość wybierze.
Chyba domyślasz się co wybiorą chyba wszyscy w 100%?
No i teraz mamy pewien zgrzyt w twierdzeniu, że średnia subiektywnych ocen upoważnia do obiektywnej oceny/prawdy

Nie do mnie, ale też się podepnę

Niekoniecznie mamy zgrzyt bo z tą Ziemią to słaby przykład, już o tym pisałem - to jaka jest naprawdę Ziemia jest pewnym faktem obiektywnym i nie ma na to zupełnie wpływu jak kto będzie głosować. Ocena gry to zupełnie inna sprawa bo nie istnieje sama z siebie tylko wynika właśnie z "głosowania" ludzi.

Też miałem się już nie wypowiadać, bo ten temat kręci się w kółko od kilku stron, natomiast pozwolę sobie sprostować rzeczy dotyczące statystyki. To, że oceny są porządkowe używając tych samych cyferek nie oznacza, że są w tej samej skali i co za tym idzie są porównywalne. Można nimi robić jakieś testy A/B (ale tylko biorąc pod uwagę ludzi którzy ocenili obie gry, a nie tylko jedną z nich). Oceny na bgg, według statystyki są danymi ankietowymi, a aby móc wyciągnąć sensowne wnioski z takich danych skala musi być tak samo skalibrowana dla wszystkich ankietowanych (tu: użytkowników bgg). Jeśli jeden użytkownik ocenia grę na 9 bo bardzo chętnie w nią gra, drugi na 8, bo niby gra tak samo chętnie jak poprzednik, ale uważa, że w tej grze nie ma nic innowacyjnego, a trzeci na 6, bo niby chętnie gra, ale ani nic innowacyjnego, grafiki brzydkie, i papier jakiś cienki no to średnia z tych ocen nie ma kompletnie żadnej interpretacji. Dlatego w statystyce jest tak dział jak projektowanie badań, który odpowiada za takie tworzenie ankiet aby wnioski były interpretowalne. Ale, że zdecydowana większość tego nie robi poprawnie, to te wyniki są w prawie zawsze w ten czy inny sposób wypaczone

Żeby nie mnożyć postów miałem w zasadzie tylko "polubić" Twojego bo zgadzam się z nim praktycznie w całości. Ale dodam jedną istotną rzecz, która wg mnie usprawiedliwia jednak statystyczne porównywanie tych ocen. Otóż zakładam, że jest dokładnie takie same prawdopodobieństwo że losowy użytkownik będzie swoją subiektywną skalą zawyżał jak i zaniżał ocenę. Podobnie, mimo że całkiem słuszne jest stwierdzenie że porównywanie jest sensowne wtedy gdy Ci sami użytkownicy oceniają te same gry, zakładam że nawet w sytuacji gdy różni użytkownicy oceniają różne gry ta przypadkowość w odchyłkach różnych subiektywnych skal jest losowa. Te założenia sprawdzają się oczywiście dopiero od pewnej skali zjawiska ale nie widzę żadnych przesłanek merytorycznych, by zakładać że jest inaczej, a BGG to na tyle popularny serwis, że jestem przekonany, że są prawdziwe i dlatego nadal bronię twierdzenia, że ta średnia BGG jest prawidłowym estymatorem "dobroci" gry dla ogółu graczy.

[MichalStajszczak]

Żeby nie mnożyć postów miałem w zasadzie tylko "polubić" Twojego bo zgadzam się z nim praktycznie w całości.

Bardzo się cieszę, że zgadzasz się z tym, co napisał rutra1992, bo jest to w gruncie rzeczy to samo, o czym ja od kilku stron piszę. Dla ułatwienia, rozbiję to na kolejne punkty:
1. To, że oceny są porządkowe używając tych samych cyferek nie oznacza, że są w tej samej skali i co za tym idzie są porównywalne.
2. Można nimi robić jakieś testy A/B (ale tylko biorąc pod uwagę ludzi którzy ocenili obie gry, a nie tylko jedną z nich).
3. Oceny na bgg, według statystyki są danymi ankietowymi, a aby móc wyciągnąć sensowne wnioski z takich danych skala musi być tak samo skalibrowana dla wszystkich ankietowanych
4. Jeśli jeden użytkownik ocenia grę na 9 bo bardzo chętnie w nią gra, drugi na 8, bo niby gra tak samo chętnie jak poprzednik, ale uważa, że w tej grze nie ma nic innowacyjnego, a trzeci na 6, bo niby chętnie gra, ale ani nic innowacyjnego, grafiki brzydkie, i papier jakiś cienki no to średnia z tych ocen nie ma kompletnie żadnej interpretacji.
5. W statystyce jest tak dział jak projektowanie badań, który odpowiada za takie tworzenie ankiet aby wnioski były interpretowalne. Ale, że zdecydowana większość tego nie robi poprawnie, to te wyniki są w prawie zawsze w ten czy inny sposób wypaczone.
Chyba wszystkie punkty (poza 5), choć może nieco inaczej sformułowane, możesz znaleźć w moich wypowiedziach w tym wątku. Zresztą nic w tym dziwnego, bo są to sprawy oczywiste dla każdego, kto ma jakąś wiedzę o statystyce.
Natomiast przedstawione przez Ciebie założenia:
1. Zakładam, że jest dokładnie takie same prawdopodobieństwo że losowy użytkownik będzie swoją subiektywną skalą zawyżał jak i zaniżał ocenę.
2. Gdy różni użytkownicy oceniają różne gry ta przypadkowość w odchyłkach różnych subiektywnych skal jest losowa.
są na tyle ogólnikowe i nieweryfikowalne, że pasują nawet do sytuacji, w której każdy użytkownik bgg wystawia ocenę na podstawie rzutu kostką k10

[alpha]

Spoiler:

Nie do mnie, ale też się podepnę

Niekoniecznie mamy zgrzyt bo z tą Ziemią to słaby przykład, już o tym pisałem - to jaka jest naprawdę Ziemia jest pewnym faktem obiektywnym i nie ma na to zupełnie wpływu jak kto będzie głosować. Ocena gry to zupełnie inna sprawa bo nie istnieje sama z siebie tylko wynika właśnie z "głosowania" ludzi.

No to popatrzmy na to z innej strony.

Wszyscy na tej planecie oceniają grę A.
Załóżmy, że wszyscy oprócz mnie dali jej 1/10, a ja dałem 10/10.
Przyjmijmy, że nie były to oceny podyktowane emocjami, ani dla żartów, tylko na poważnie.
Przyjmijmy nawet, że każdy grał i wie co ocenia, a nie, że po 5 minutach wywrócił stolik i wystawił 1/10
Ja sam jeden wystawiłem 10/10.
Mało tego: wszyscy wiedzieli jakiej skali używają, co ona oznacza, i jak to się będzie potem miało do średniej.

Jaki z tego wynika wniosek?
Gra jest dobra czy zła?

Na razie pauza z moje strony - poczekam na odpowiedź

[dannte]

Jeśli jeden użytkownik ocenia grę na 9 bo bardzo chętnie w nią gra, drugi na 8, bo niby gra tak samo chętnie jak poprzednik, ale uważa, że w tej grze nie ma nic innowacyjnego, a trzeci na 6, bo niby chętnie gra, ale ani nic innowacyjnego, grafiki brzydkie, i papier jakiś cienki no to średnia z tych ocen nie ma kompletnie żadnej interpretacji. Dlatego w statystyce jest tak dział jak projektowanie badań

Powiem szczerze, że nie rozumiem w pełni tego co napisałeś. Mógłbyś rozwinąć? Bo brakuje mi wniosku - jeśli płaska skala 1-10 nie jest "interpretowalna" (tak Cię zrozumiałem), to co jest "interpretowalne"?
I nie pytam o nową metodę głosowania (np. przy każdej grze głosować osobno na komponenty, grafikę, mechanikę, czas, klimat, itp.), tylko o to czy naprawdę ze średniej oceny nie można nic wywnioskować? Zupełnie nic?

Jeśli 100 użytkowników oceni grę nisko bo miało zły humor, 200 wysoko, bo miało dobry humor, a reszta oceni grę na tysiąc różnych sposobów, to co jest w tym niepoprawnego? Ja cały czas przystaję przy tym, że nie mówimy o jury, które rzetelnie i w takim samym stopniu zaangażowania oceni każdą z rozpatrywanych gier maksymalnie obiektywnie. Tylko raczej o zwykłym plebiscycie gdzie różnorakie gry oceniane są przez kogokolwiek i jakkolwiek.

No i tu się całkowicie nie zgadzam. Jakkolwiek cały czas bronię tezy, że analiza subiektywnych ocen może dawać obiektywne wnioski tak z całą pewnością nie można oceny w skali porządkowej przekładać na żadne procentowe prawdopodobieństwo.

Ja całkowicie rozumiem ten punkt widzenia, mój przykład miał jedynie potwierdzić tezę, że jeśli zostanę zapytany: "ta gra ma średnią 8/10 - co można z tego wywnioskować?" To takie proste prawdopodobieństwo przychodzi pierwsze do głowy. Mógłbym oczywiście odpowiedzieć: "Nic nie można wywnioskować" (bo się nie da tego przełożyć na liczby, zgodnie z prawdą) - ale nie o to mi tutaj chodziło

Podany przez raja przykład dotyczy moim zdaniem sytuacji nieco innej. Mamy grupę osób, których zadaniem jest zmierzenie przy użyciu linijki długości np. ołówka z dokładnością do 1 cm. Jeżeli ołówek ma "obiektywnie" 10 cm, to z każdego "subiektywnego" pomiaru powinno wyjść tyle samo, niezależnie od tego, jak liczna będzie grupa

Zgoda, ale ja chciałem to skontrować przykładem, który pokaże, że z czymś niełatwo mierzalnym też da się "popracować".

Obiektywne: odległość 200 m
Subiektywne: tyle ile każdy powie czy zgadnie

Jeżeli większość trafi poprawnie, to masz tylko szczęście, bo wyjdzie, że średnia subiektywna oddaje wartość obiektywną.

Tutaj muszę się jednak przyczepić. W moim przykładzie nie chodziło o zgadywanie (jakaś mniejszość może tak zrobi, ale to są skrajne przypadki, poza tym jedni zawyżą, drudzy zaniżą, trzeci trafią - średnio będzie ok), tylko zmierzenie "po swojemu".
No bo cała dyskusja jest o ocenianiu gier (prawdopodobnie po zagraniu w nie), a nie o zgadywaniu czy są dobre (na pierwszy rzut oka, nawet bez przeczytania instrukcji) i fatygowaniu się, żeby je ocenić.

[alpha]

Spoiler:

Obiektywne: odległość 200 m
Subiektywne: tyle ile każdy powie czy zgadnie

Jeżeli większość trafi poprawnie, to masz tylko szczęście, bo wyjdzie, że średnia subiektywna oddaje wartość obiektywną.

Tutaj muszę się jednak przyczepić. W moim przykładzie nie chodziło o zgadywanie (jakaś mniejszość może tak zrobi, ale to są skrajne przypadki, poza tym jedni zawyżą, drudzy zaniżą, trzeci trafią - średnio będzie ok), tylko zmierzenie "po swojemu".
No bo cała dyskusja jest o ocenianiu gier (prawdopodobnie po zagraniu w nie), a nie o zgadywaniu czy są dobre (na pierwszy rzut oka, nawet bez przeczytania instrukcji) i fatygowaniu się, żeby je ocenić.

Chodziło o zgadywanie
Miałem ocenić odległość "stąd" do "tamtego drzewa".
Jak inaczej mogę ocenić odległość bez przyrządów?
Podany przeze mnie wynik będzie w jakimś stopniu bliższy lub dalszy prawdzie.
To na ile on będzie bliższy prawdzie zależy od mojego doświadczenia w tej kwestii.
Niektórzy będą strzelać zupełnie bez sensu

Ale nawet pomijając zgadywanie bez sensu, to nie pytasz się w tym przypadku o to czy im się podoba to, że stoją w takiej odległości od tamtego drzewa
Jednym może się to podobać, bo coś tam, a inni woleliby być bliżej drzewa, a jeszcze innym to wszystko jedno.
Wyciągnijmy średnią z tego czy im się to podoba, i ustalmy, obiektywnie czy to dobra odległość, czy zła

Rozumiesz?
- rzeczywista odległość od drzewa - ocena obiektywna
- upodobania co do odległości od drzewa - ocena subiektywna

Czy średnia z ocen subiektywnego odczucia "czy to dobrze, że jestem daleko od tego drzewa", może nam dać obiektywną ocenę tego czy ta odległość jest dobra lub zła?

[dannte]

Spoiler:

Żeby nie mnożyć postów miałem w zasadzie tylko "polubić" Twojego bo zgadzam się z nim praktycznie w całości.

Bardzo się cieszę, że zgadzasz się z tym, co napisał rutra1992, bo jest to w gruncie rzeczy to samo, o czym ja od kilku stron piszę. Dla ułatwienia, rozbiję to na kolejne punkty:
1. To, że oceny są porządkowe używając tych samych cyferek nie oznacza, że są w tej samej skali i co za tym idzie są porównywalne.
2. Można nimi robić jakieś testy A/B (ale tylko biorąc pod uwagę ludzi którzy ocenili obie gry, a nie tylko jedną z nich).
3. Oceny na bgg, według statystyki są danymi ankietowymi, a aby móc wyciągnąć sensowne wnioski z takich danych skala musi być tak samo skalibrowana dla wszystkich ankietowanych
4. Jeśli jeden użytkownik ocenia grę na 9 bo bardzo chętnie w nią gra, drugi na 8, bo niby gra tak samo chętnie jak poprzednik, ale uważa, że w tej grze nie ma nic innowacyjnego, a trzeci na 6, bo niby chętnie gra, ale ani nic innowacyjnego, grafiki brzydkie, i papier jakiś cienki no to średnia z tych ocen nie ma kompletnie żadnej interpretacji.
5. W statystyce jest tak dział jak projektowanie badań, który odpowiada za takie tworzenie ankiet aby wnioski były interpretowalne. Ale, że zdecydowana większość tego nie robi poprawnie, to te wyniki są w prawie zawsze w ten czy inny sposób wypaczone.
Chyba wszystkie punkty (poza 5), choć może nieco inaczej sformułowane, możesz znaleźć w moich wypowiedziach w tym wątku. Zresztą nic w tym dziwnego, bo są to sprawy oczywiste dla każdego, kto ma jakąś wiedzę o statystyce.
Natomiast przedstawione przez Ciebie założenia:
1. Zakładam, że jest dokładnie takie same prawdopodobieństwo że losowy użytkownik będzie swoją subiektywną skalą zawyżał jak i zaniżał ocenę.
2. Gdy różni użytkownicy oceniają różne gry ta przypadkowość w odchyłkach różnych subiektywnych skal jest losowa.
są na tyle ogólnikowe i nieweryfikowalne, że pasują nawet do sytuacji, w której każdy użytkownik bgg wystawia ocenę na podstawie rzutu kostką k10

Poczekaj, powiedz mi czy ja dobrze rozumiem. Masz znajomego (znasz go dobrze z pracy, nigdy nie graliście, nie wiesz czy kiedyś grywał w planszówki). Spotykacie się przy stole, masz grę, którą uwielbiacie Ty i 3 twoich kolegów. I nie powiesz temu nowemu: "mamy tu taką świetną grę, może Ci się spodobać, gramy?", tylko raczej "mamy tu taką grę, którą wszyscy lubimy, nie wiem czy Ci się spodoba, chcesz zagrać?" - skąd ta nowa osoba ma wiedzieć czy chce zagrać? Albo jaki ma inny wybór? (zakładając, że faktem jest, że spotkała się z Wami, żeby pograć)
Wybacz, że spłycam, ale tak to dla mnie brzmi. Bo przecież Wasze (Twoje i 3 kolegów) oceny nie mają żadnego przełożenia na gust tego nowego, to nie można mu nic zasugerować? (oczywiście nie znając jego preferencji - a sam może nie jest w stanie do końca ich określić, bo nie jest to proste dla osoby nieobeznanej w temacie).

Wiele razy zdarzyło mi się tak, że polecałem kumplowi grę i po zagraniu stwierdził, że słaba, a ja nie wiedziałem czemu i on nie potrafił mi tego wyjaśnić (mimo, że ja wyjaśniałem dlaczego uważam ją za dobrą). Można z tego wywnioskować, że albo ja się nie znam, albo on się nie zna, albo może miał zły humor, albo ja miałem zbyt duży sentyment do tej gry? Czasami też udawało się ograć tytuł jeszcze kilka razy i po tym zmieniał zdanie (ale był oporny przed kolejnymi grami) - i weź tu bądź mądry... I mimo, że mamy różne gusta (on jest pro-euro, ja raczej anty-euro), to on wie, że jak coś polecam, to pewnie jest to przemyślana opinia. Mimo, że wyciągnięta na bazie zupełnie innych obserwacji niż te, które on by poczynił.

@alpha: nie, to zupełnie nie był mój przykład może go niejasno opisałem po prostu.

[malpka]

Spoiler:

Nie do mnie, ale też się podepnę

Niekoniecznie mamy zgrzyt bo z tą Ziemią to słaby przykład, już o tym pisałem - to jaka jest naprawdę Ziemia jest pewnym faktem obiektywnym i nie ma na to zupełnie wpływu jak kto będzie głosować. Ocena gry to zupełnie inna sprawa bo nie istnieje sama z siebie tylko wynika właśnie z "głosowania" ludzi.

No to popatrzmy na to z innej strony.

Wszyscy na tej planecie oceniają grę A.
Załóżmy, że wszyscy oprócz mnie dali jej 1/10, a ja dałem 10/10.
Przyjmijmy, że nie były to oceny podyktowane emocjami, ani dla żartów, tylko na poważnie.
Przyjmijmy nawet, że każdy grał i wie co ocenia, a nie, że po 5 minutach wywrócił stolik i wystawił 1/10
Ja sam jeden wystawiłem 10/10.
Mało tego: wszyscy wiedzieli jakiej skali używają, co ona oznacza, i jak to się będzie potem miało do średniej.

Jaki z tego wynika wniosek?
Gra jest dobra czy zła?

Na razie pauza z moje strony - poczekam na odpowiedź

Ależ to "banalnie proste" - Jeśli jakaś nowa osoba zagra w tą grę, jest (wszyscy -1)/wszyscy % szans że się jej spodoba.
Jeśli ustalimy kryterium dobroci na >80%, to gra jest dobra przy liczbie osób na planecie > 5
--
edit: przy uwzględnieniu, że skala 1-10 jest równomierna, a nie <patrz poniżej>

[rutra1992]

Jeśli jeden użytkownik ocenia grę na 9 bo bardzo chętnie w nią gra, drugi na 8, bo niby gra tak samo chętnie jak poprzednik, ale uważa, że w tej grze nie ma nic innowacyjnego, a trzeci na 6, bo niby chętnie gra, ale ani nic innowacyjnego, grafiki brzydkie, i papier jakiś cienki no to średnia z tych ocen nie ma kompletnie żadnej interpretacji. Dlatego w statystyce jest tak dział jak projektowanie badań

Powiem szczerze, że nie rozumiem w pełni tego co napisałeś. Mógłbyś rozwinąć? Bo brakuje mi wniosku - jeśli płaska skala 1-10 nie jest "interpretowalna" (tak Cię zrozumiałem), to co jest "interpretowalne"?
I nie pytam o nową metodę głosowania (np. przy każdej grze głosować osobno na komponenty, grafikę, mechanikę, czas, klimat, itp.), tylko o to czy naprawdę ze średniej oceny nie można nic wywnioskować? Zupełnie nic?

Jeśli 100 użytkowników oceni grę nisko bo miało zły humor, 200 wysoko, bo miało dobry humor, a reszta oceni grę na tysiąc różnych sposobów, to co jest w tym niepoprawnego? Ja cały czas przystaję przy tym, że nie mówimy o jury, które rzetelnie i w takim samym stopniu zaangażowania oceni każdą z rozpatrywanych gier maksymalnie obiektywnie. Tylko raczej o zwykłym plebiscycie gdzie różnorakie gry oceniane są przez kogokolwiek i jakkolwiek.

Nie do końca wiem co rozumiesz przez skala płaska, ale jeśli uważasz, że odległości między 1 a 2, 2 a 3 itd. są takie same to jest to dość mocne założenie. W badaniach jakościowych często tak nie jest, w źle skaliborwanych skalach na pewno tak nie jest. W szczególności w skali bgg tak nie jest, przynajmniej moim zdaniem np. między 8 a 9 jest dużo większa różnica niż między 5 a 6. Poniżej opisy dla przypomnienia:

9 - Excellent game. Always want to play it.
8 - Very good game. I like to play. Probably I'll suggest it and will never turn down a game.

6 - Ok game, some fun or challenge at least, will play sporadically if in the right mood.
5 - Average game, slightly boring, take it or leave it.

Jeśli odległość nie jest równa to już to wnioskowanie ze średniej jest co najmniej problematyczne, jeśli nie całkiem pozbawione sensu (nie wiem czy są do tego specjalne metody, nie zajmuje się badaniami jakościowymi).

Ale załóżmy, że rzeczywiście odległość jest równa. Czyli 6 wychodzące ze średniej 5 i 7 oraz 4 i 8 ma takie same znaczenie (co zauważmy, że w powyższym może nie zachodzić). Jeśli nie masz jasno przypisanej interpretacji do tej skali (w bgg niby masz, ale dobrze wiemy, że przez wiele osób nie jest ona respektowana, z resztą nie powiedziałbym, że sam się tym do końca kieruje) to co właściwie chcesz wnioskować porównując te średnie? Że gra ma lepszą mechanikę? Że jest lepiej wykonana? Że jest ładniejsza? Że jest innowacyjna? Jeśli każdy za coś innego ocenia przypisując swoją skale to ta interpretacja się rozmywa. Tu wyjdzie Ci coś co w statystyce nazywa się bias, czyli na polski obciążenie estymatora. I jeśli założymy interpretowalność skali bgg, w sposób zadany przez bgg, a oceny nie będą wystawiane w ten sposób to ta interpretacja będzie błędna i idące za nią wnioskowanie będzie błędne.

No ale dobra, założmy, że jest tak, że ten bias się znosi (co moim zdaniem jest kompletnie fałszywym założeniem, bo np nowe gry, szczególnie to mocno hypowane i ładne, mają na początku bardzo wysoką średnia, która z czasem spada jesli gra nie broni się mechanicznie czyli bias jest dodatni, a będą gry, które mają np obniżane oceny za to że są brzydkie, mimo że się fajnie w nie gra, albo za jakieś afery związane z wydawnictwem czy autorem, wtedy mamy bias ujemny).

To wtedy wciąż porównywanie dwóch ocen wystawionych na różnych populacjach jest bez sensu, bo takie badanie, żeby miało sens powinno być przekrojowe (tzn. na tej samej populacji). Jeśli masz odpowiednio mało braków danych (czyli np. osób które oceniły jedną grę, a nie oceniły drugiej) to jeszcze możesz coś z tym robić (szczególnie, że tutaj te braki danych na pewno nie są losowe), ale to jak Ci brakuje 10%, a tu pewnie mówimy o dużo większych różnicach. Grupa która oceniała np. marvel united (raczej celujące w rodziców grających z dziećmi, ocena 7.6) i grupa która oceniała warfightera (raczej solowa gra wojenna, ocena 7.7) to mogą być bardzo mocno rozłączne grupy (już pomińmy, że pewnie jak jedna osoba ocenia obie te gry to w różnym kontekście i te oceny są de facto na różnej skali). Żeby móc to w jakikolwiek sposób porównywać musimy założyć, że obie grupy oceniających są losową próbką z populacji wszystkich graczy, co jest chyba dość oczywiste, że nie jest prawda.

Ale jakbyśmy chcieli założyć, że jednak jest losową próbką to co to oznacza? Że losowa próbka populacji graczy będzie się średnio lepiej bawić przy warfigtherze niż przy marvel united. Czy taki wniosek ma sens to niech każdy oceni sobie sam (można wstawić też np wingspana 8.1 i hallertau 8.2). Jeśli wniosek wydaje się nie mieć sensu, a nie ma błędu obliczeniowego, to jest raczej gdzieś błąd w założeniach, tu może być w kilku miejscach opisanych wyżej albo i jeszcze w kilku dodatkowych, które mi na szybko nie przyszły do głowy.

To powiedziawszy, nie mówię że ta ocena jest całkiem bez sensu, natomiast ja to traktuje jako wskaźnik, które wcale nie musi być interpretowalny, a już w szczególności porównywalny (szczególnie, że filler który ma 6.5 to całkiem nieźle oceniony filler, a euro które ma 6.5 to takie meh). Pewnie też interpretowanie tego wewnątrz jakieś konkretnego gatunku ma więcej sensu niż ogólnie.

[Grzdyll]

Bardzo się cieszę, że zgadzasz się z tym, co napisał rutra1992, bo jest to w gruncie rzeczy to samo, o czym ja od kilku stron piszę. Dla ułatwienia, rozbiję to na kolejne punkty:
1. To, że oceny są porządkowe używając tych samych cyferek nie oznacza, że są w tej samej skali i co za tym idzie są porównywalne.
2. Można nimi robić jakieś testy A/B (ale tylko biorąc pod uwagę ludzi którzy ocenili obie gry, a nie tylko jedną z nich).
3. Oceny na bgg, według statystyki są danymi ankietowymi, a aby móc wyciągnąć sensowne wnioski z takich danych skala musi być tak samo skalibrowana dla wszystkich ankietowanych
4. Jeśli jeden użytkownik ocenia grę na 9 bo bardzo chętnie w nią gra, drugi na 8, bo niby gra tak samo chętnie jak poprzednik, ale uważa, że w tej grze nie ma nic innowacyjnego, a trzeci na 6, bo niby chętnie gra, ale ani nic innowacyjnego, grafiki brzydkie, i papier jakiś cienki no to średnia z tych ocen nie ma kompletnie żadnej interpretacji.
5. W statystyce jest tak dział jak projektowanie badań, który odpowiada za takie tworzenie ankiet aby wnioski były interpretowalne. Ale, że zdecydowana większość tego nie robi poprawnie, to te wyniki są w prawie zawsze w ten czy inny sposób wypaczone.
Chyba wszystkie punkty (poza 5), choć może nieco inaczej sformułowane, możesz znaleźć w moich wypowiedziach w tym wątku. Zresztą nic w tym dziwnego, bo są to sprawy oczywiste dla każdego, kto ma jakąś wiedzę o statystyce.
Natomiast przedstawione przez Ciebie założenia:
1. Zakładam, że jest dokładnie takie same prawdopodobieństwo że losowy użytkownik będzie swoją subiektywną skalą zawyżał jak i zaniżał ocenę.
2. Gdy różni użytkownicy oceniają różne gry ta przypadkowość w odchyłkach różnych subiektywnych skal jest losowa.
są na tyle ogólnikowe i nieweryfikowalne, że pasują nawet do sytuacji, w której każdy użytkownik bgg wystawia ocenę na podstawie rzutu kostką k10

Bardzo Ci dziękuję, że rozbiłeś mi to na kolejne punkty, widocznie uważasz że kiepsko u mnie z czytaniem. Kontynuowanie naszej dyskusji chyba średnio ma sens, szkoda Twojego cennego czasu skoro tak jednoznacznie oceniłeś też poziom mojej wiedzy o statystyce i uważasz, że całą moją dotychczasową argumentację można przyrównać do sytuacji, gdy ocena wynika z rzutu kostką k10. Skoro ja dostrzegam potwierdzenie mojego punktu widzenia w Twoich postach, Ty widzisz je w moich, a wspólnie zgadzamy się z postem rytra1992 to może ustalmy roboczo, że osiągnęliśmy porozumienie dla ogólnej szczęśliwości

No to popatrzmy na to z innej strony.

Wszyscy na tej planecie oceniają grę A.
Załóżmy, że wszyscy oprócz mnie dali jej 1/10, a ja dałem 10/10.
Przyjmijmy, że nie były to oceny podyktowane emocjami, ani dla żartów, tylko na poważnie.
Przyjmijmy nawet, że każdy grał i wie co ocenia, a nie, że po 5 minutach wywrócił stolik i wystawił 1/10
Ja sam jeden wystawiłem 10/10.
Mało tego: wszyscy wiedzieli jakiej skali używają, co ona oznacza, i jak to się będzie potem miało do średniej.

Jaki z tego wynika wniosek?
Gra jest dobra czy zła?

Na razie pauza z moje strony - poczekam na odpowiedź

Wywołany do tablicy jeszcze raz powtórzę to, co pisałem już parokrotnie. Ocena pojedynczej osoby nie jest wyznacznikiem niczego, nieważne czy to ocena Twoja, Toma Vasela czy Vlaady Chvatila - każda jednostka ma swoje własne preferencje, które mogą nijak się mieć do preferencji ogółu. Natomiast gdy zaczynamy posługiwać się statystyką dotyczącą wielu wystawionych ocen (dla porządku jeszcze raz dodam, że powinny one być szczere, tak jak zaznaczasz) docieramy do pewnej obiektywnej niezależnej od obserwatora "dobroci" gry dla ogółu graczy. W podanym przez Ciebie przykładzie wniosek jest oczywisty - gra dla ogółu graczy jest bardzo ale to bardzo zła, bo średnia z ocen będzie bardzo, bardzo bliska 1 - ta jedna Twoja skrajnie wysoka ocena jest praktycznie pomijalna. Tak niska ocena ogółu graczy może wynikać z wielu różnych czynników, które kompletnie nie mają znaczenia, ta gra teoretycznie może być w innych okolicznościach świetna, ale może ma np. tragicznie napisaną instrukcję, którą tylko Ty zrozumiałeś i potrafiłeś docenić prawdziwą jej wartość? - może w kolejnej edycji instrukcja zostanie poprawiona, a gra wystawiona na KS z masą plastikowych figurek i ocena gry poszybuje w górę? Nie zmienia faktu, że dla ogółu graczy w danym, opisanym momencie ta gra jest bardzo zła.

Ja natomiast odbiję piłeczkę i spytam Ciebie jaka będzie Twoja odpowiedź na zagadkę którą zadałem Michałowi ze dwie strony wątku wstecz:
100 losowo wytypowanych graczy zagrało wielokrotnie w grę A oraz B, a następnie postanowiło podzielić się swoim wrażeniem dotyczącym chęci zagrania w te dwie gry i (zgodnie z opisem na BGG) grze A wszyscy dali ocenę 1, a grze B wszyscy dali ocenę 10. Twierdzisz, że nic obiektywnego o "dobroci" tych dwóch gier nie da się na tej podstawie powiedzieć?

[MichalStajszczak]

widocznie uważasz że kiepsko u mnie z czytaniem. Kontynuowanie naszej dyskusji chyba średnio ma sens, szkoda Twojego cennego czasu skoro tak jednoznacznie oceniłeś też poziom mojej wiedzy o statystyce

To jest tylko moja subiektywna opinia, która może być losowo zaniżona lub zawyżona

[MichalStajszczak]

Poczekaj, powiedz mi czy ja dobrze rozumiem. Masz znajomego (znasz go dobrze z pracy, nigdy nie graliście, nie wiesz czy kiedyś grywał w planszówki).

Nie czytając dalej widzę, że to jest dla mnie zbyt trudne pytanie przede wszystkim dlatego, że od 30 lat prowadzę jednoosobową działalność gospodarczą

[Grzdyll]

rutra1992, nie do końca wiem czy Twój post jest adresowany do mnie (bo cytujesz na wstępie dannte) ale pozwolę sobie odnieść się do paru poruszonych kwestii bo wydają mi się istotne i celnie postawione.

(...) nie wiem czy są do tego specjalne metody, nie zajmuje się badaniami jakościowymi.

Ja też nie, ale wydaje mi się że rozumiem je na tyle, aby twierdzić, że wnioski podejmowane na podstawie analizy danych jakościowych mogą być obiektywne. Uważasz inaczej?

(...)
Ale załóżmy, że rzeczywiście odległość jest równa. Czyli 6 wychodzące ze średniej 5 i 7 oraz 4 i 8 ma takie same znaczenie (co zauważmy, że w powyższym może nie zachodzić). Jeśli nie masz jasno przypisanej interpretacji do tej skali (w bgg niby masz, ale dobrze wiemy, że przez wiele osób nie jest ona respektowana, z resztą nie powiedziałbym, że sam się tym do końca kieruje) to co właściwie chcesz wnioskować porównując te średnie? Że gra ma lepszą mechanikę? Że jest lepiej wykonana? Że jest ładniejsza? Że jest innowacyjna? Jeśli każdy za coś innego ocenia przypisując swoją skale to ta interpretacja się rozmywa.

Oczywiście, że interpretacja się rozmywa, jak to ładnie obrazowo ująłeś. Przecież to, że gra jest oceniana jako "lepsza" lub "gorsza" od innej jest wypadkową wszystkich tych powyżej wymienionych cech, a jeszcze pewnie paru niewymienionych - nie sposób rozsądzić która dokładnie cecha powoduje, że średnia gry A jest niższa od gry B. Ale skoro jest niższa to znaczy że jest średnio "gorsza" dla przeciętnego gracza.

Tu wyjdzie Ci coś co w statystyce nazywa się bias, czyli na polski obciążenie estymatora. I jeśli założymy interpretowalność skali bgg, w sposób zadany przez bgg, a oceny nie będą wystawiane w ten sposób to ta interpretacja będzie błędna i idące za nią wnioskowanie będzie błędne.

No ale dobra, założmy, że jest tak, że ten bias się znosi (co moim zdaniem jest kompletnie fałszywym założeniem, bo np nowe gry, szczególnie to mocno hypowane i ładne, mają na początku bardzo wysoką średnia, która z czasem spada jesli gra nie broni się mechanicznie czyli bias jest dodatni, a będą gry, które mają np obniżane oceny za to że są brzydkie, mimo że się fajnie w nie gra, albo za jakieś afery związane z wydawnictwem czy autorem, wtedy mamy bias ujemny).

To wtedy wciąż porównywanie dwóch ocen wystawionych na różnych populacjach jest bez sensu, bo takie badanie, żeby miało sens powinno być przekrojowe (tzn. na tej samej populacji). Jeśli masz odpowiednio mało braków danych (czyli np. osób które oceniły jedną grę, a nie oceniły drugiej) to jeszcze możesz coś z tym robić (szczególnie, że tutaj te braki danych na pewno nie są losowe), ale to jak Ci brakuje 10%, a tu pewnie mówimy o dużo większych różnicach. Grupa która oceniała np. marvel united (raczej celujące w rodziców grających z dziećmi, ocena 7.6) i grupa która oceniała warfightera (raczej solowa gra wojenna, ocena 7.7) to mogą być bardzo mocno rozłączne grupy (już pomińmy, że pewnie jak jedna osoba ocenia obie te gry to w różnym kontekście i te oceny są de facto na różnej skali).

Bias (wolę określenie błąd systematyczny) oczywiście w średniej BGG występuje. Ale nie może wynikać z hypu czy reklamy bo to zwykłe części składowe oceny - jeśli hype lub reklama nakręciły koniunkturę na jakąś grę to jest ona po prostu oceniana jako lepsza od innych. Natomiast masz rację, że błąd występuje z pewnością z drugiego podanego przez Ciebie powodu - że te populacje oceniające gry są w istocie rozłączne i inne osoby oceniają inne gry. Tak jak już pisałem zakładam, że w dużej liczbie ocen średnia będzie pomimo to dążyć do przeciętnej "dobroci" dla całej populacji graczy i ją skutecznie estymować ale to faktycznie może być założenie błędne. Im bardziej będzie błędne, tym faktycznie mniej średnia BGG będzie znaczyła.

Ale jakbyśmy chcieli założyć, że jednak jest losową próbką to co to oznacza? Że losowa próbka populacji graczy będzie się średnio lepiej bawić przy warfigtherze niż przy marvel united. Czy taki wniosek ma sens to niech każdy oceni sobie sam.

Według mnie ten wniosek jak najbardziej ma sens.

To powiedziawszy, nie mówię że ta ocena jest całkiem bez sensu, natomiast ja to traktuje jako wskaźnik, które wcale nie musi być interpretowalny, a już w szczególności porównywalny (szczególnie, że filler który ma 6.5 to całkiem nieźle oceniony filler, a euro które ma 6.5 to takie meh). Pewnie też interpretowanie tego wewnątrz jakieś konkretnego gatunku ma więcej sensu niż ogólnie.

Tu zgoda, z pewnością rozpatrywanie konkretnych ocen w pewnych grupach jest sensowniejsze niż w całości gier - zresztą na BGG istnieje szereg kategorii w ramach których można to robić. Ale nadal oceniam, że ogólny ranking, ma też sens, pokazując choćby pośrednio które kategorie gier znajdują więcej odbiorców.

[rutra1992]

rutra1992, nie do końca wiem czy Twój post jest adresowany do mnie (bo cytujesz na wstępie dannte) ale pozwolę sobie odnieść się do paru poruszonych kwestii bo wydają mi się istotne i celnie postawione.

Dannte dopytywał, więc opisałem od statystycznej strony jak ja to widzę, nie miało to na celu, większego wpychania się w tę dyskusję. Natomiast chętnie poprowadzę dyskusję na temat metodologii statystycznych

(...) nie wiem czy są do tego specjalne metody, nie zajmuje się badaniami jakościowymi.

Ja też nie, ale wydaje mi się że rozumiem je na tyle, aby twierdzić, że wnioski podejmowane na podstawie analizy danych jakościowych mogą być obiektywne. Uważasz inaczej?

Uważam, że poprawne zebranie danych ankietowych (w tym, poprawne przygotowanie odpowiedniej ankiety) jest trudne, a przy źle przygotowanej ankiecie wnioski mogą być nieobiektywne (nie muszą, mogą nawet przypadkiem wyjść dobre, ale samo badanie jest wtedy błędnie przeprowadzone)

(...)
Ale załóżmy, że rzeczywiście odległość jest równa. Czyli 6 wychodzące ze średniej 5 i 7 oraz 4 i 8 ma takie same znaczenie (co zauważmy, że w powyższym może nie zachodzić). Jeśli nie masz jasno przypisanej interpretacji do tej skali (w bgg niby masz, ale dobrze wiemy, że przez wiele osób nie jest ona respektowana, z resztą nie powiedziałbym, że sam się tym do końca kieruje) to co właściwie chcesz wnioskować porównując te średnie? Że gra ma lepszą mechanikę? Że jest lepiej wykonana? Że jest ładniejsza? Że jest innowacyjna? Jeśli każdy za coś innego ocenia przypisując swoją skale to ta interpretacja się rozmywa.

Oczywiście, że interpretacja się rozmywa, jak to ładnie obrazowo ująłeś. Przecież to, że gra jest oceniana jako "lepsza" lub "gorsza" od innej jest wypadkową wszystkich tych powyżej wymienionych cech, a jeszcze pewnie paru niewymienionych - nie sposób rozsądzić która dokładnie cecha powoduje, że średnia gry A jest niższa od gry B. Ale skoro jest niższa to znaczy że jest średnio "gorsza" dla przeciętnego gracza.

Ale jeśli to badanie miałoby być przeprowadzone poprawnie z punktu widzenia statystycznego to ona nie ma prawa się rozmyć - nie mierzymy tu "dobroci gry" a tylko i wyłącznie chęć gry w nią.

Oczywiście mogłoby to być zrobione jako ogólny wskaźnik, ale wtedy powinien on jawnie brać różne czynniki pod uwagę, żeby różni ludzie oceniali według tej samej metodologii (ja wiem, utopijne myślenie).

Tu wyjdzie Ci coś co w statystyce nazywa się bias, czyli na polski obciążenie estymatora. I jeśli założymy interpretowalność skali bgg, w sposób zadany przez bgg, a oceny nie będą wystawiane w ten sposób to ta interpretacja będzie błędna i idące za nią wnioskowanie będzie błędne.

No ale dobra, założmy, że jest tak, że ten bias się znosi (co moim zdaniem jest kompletnie fałszywym założeniem, bo np nowe gry, szczególnie to mocno hypowane i ładne, mają na początku bardzo wysoką średnia, która z czasem spada jesli gra nie broni się mechanicznie czyli bias jest dodatni, a będą gry, które mają np obniżane oceny za to że są brzydkie, mimo że się fajnie w nie gra, albo za jakieś afery związane z wydawnictwem czy autorem, wtedy mamy bias ujemny).

To wtedy wciąż porównywanie dwóch ocen wystawionych na różnych populacjach jest bez sensu, bo takie badanie, żeby miało sens powinno być przekrojowe (tzn. na tej samej populacji). Jeśli masz odpowiednio mało braków danych (czyli np. osób które oceniły jedną grę, a nie oceniły drugiej) to jeszcze możesz coś z tym robić (szczególnie, że tutaj te braki danych na pewno nie są losowe), ale to jak Ci brakuje 10%, a tu pewnie mówimy o dużo większych różnicach. Grupa która oceniała np. marvel united (raczej celujące w rodziców grających z dziećmi, ocena 7.6) i grupa która oceniała warfightera (raczej solowa gra wojenna, ocena 7.7) to mogą być bardzo mocno rozłączne grupy (już pomińmy, że pewnie jak jedna osoba ocenia obie te gry to w różnym kontekście i te oceny są de facto na różnej skali).

Bias (wolę określenie błąd systematyczny) oczywiście w średniej BGG występuje. Ale nie może wynikać z hypu czy reklamy bo to zwykłe części składowe oceny - jeśli hype lub reklama nakręciły koniunkturę na jakąś grę to jest ona po prostu oceniana jako lepsza od innych. Natomiast masz rację, że błąd występuje z pewnością z drugiego podanego przez Ciebie powodu - że te populacje oceniające gry są w istocie rozłączne i inne osoby oceniają inne gry. Tak jak już pisałem zakładam, że w dużej liczbie ocen średnia będzie pomimo to dążyć do przeciętnej "dobroci" dla całej populacji graczy i ją skutecznie estymować ale to faktycznie może być założenie błędne. Im bardziej będzie błędne, tym faktycznie mniej średnia BGG będzie znaczyła.

Jak dla mnie hype nie jest składową oceny w sensie tego co powinno wskazywać jako chętnie ponownie w tę grę zagram (chyba, że założymy, że ktoś będzie chętnie grał w taką grę tylko dlatego, że jest na nią hype mimo, że np mechanicznie jest słaba, natomiast wtedy przy próbie przeniesienia tego na "jakość gry" będzie mocny bias).

Ale jakbyśmy chcieli założyć, że jednak jest losową próbką to co to oznacza? Że losowa próbka populacji graczy będzie się średnio lepiej bawić przy warfigtherze niż przy marvel united. Czy taki wniosek ma sens to niech każdy oceni sobie sam.

Według mnie ten wniosek jak najbardziej ma sens.

Nie wiem czy tu się do końca zrozumieliśmy - chciałem pokazać grę lekką vs grę ciężką. I o ile oceny wskazują, że ludzie powinni się średnio lepiej bawić przy grze cięższej w praktyce przy losowej próbce z populacji sporo osób na start się do niej odbije, bo jednak w większości (wbrew temu co można zaobserwować na tym forum) ludzie grają raczej w lekkie gry, co można zobaczyć np po liczbie gier w konkretne tytuły na bga (pierwszym tytułem o ciężkości powyżej 3.0 wg bgg jest terra mystica która jest na 10 miejscu dopiero.

[alpha]

Spoiler:

No to popatrzmy na to z innej strony.

Wszyscy na tej planecie oceniają grę A.
Załóżmy, że wszyscy oprócz mnie dali jej 1/10, a ja dałem 10/10.
Przyjmijmy, że nie były to oceny podyktowane emocjami, ani dla żartów, tylko na poważnie.
Przyjmijmy nawet, że każdy grał i wie co ocenia, a nie, że po 5 minutach wywrócił stolik i wystawił 1/10
Ja sam jeden wystawiłem 10/10.
Mało tego: wszyscy wiedzieli jakiej skali używają, co ona oznacza, i jak to się będzie potem miało do średniej.

Jaki z tego wynika wniosek?
Gra jest dobra czy zła?

Na razie pauza z moje strony - poczekam na odpowiedź

Wywołany do tablicy jeszcze raz powtórzę to, co pisałem już parokrotnie. Ocena pojedynczej osoby nie jest wyznacznikiem niczego, nieważne czy to ocena Twoja, Toma Vasela czy Vlaady Chvatila - każda jednostka ma swoje własne preferencje, które mogą nijak się mieć do preferencji ogółu. Natomiast gdy zaczynamy posługiwać się statystyką dotyczącą wielu wystawionych ocen (dla porządku jeszcze raz dodam, że powinny one być szczere, tak jak zaznaczasz) docieramy do pewnej obiektywnej "dobroci" gry dla ogółu graczy. W podanym przez Ciebie przykładzie wniosek jest oczywisty - gra dla ogółu graczy jest bardzo ale to bardzo zła, bo średnia z ocen będzie bardzo, bardzo bliska 1 - ta jedna Twoja skrajnie wysoka ocena jest praktycznie pomijalna. Tak niska ocena ogółu graczy może wynikać z wielu różnych czynników, które kompletnie nie mają znaczenia, ta gra teoretycznie może być w innych okolicznościach świetna, ale może ma np. tragicznie napisaną instrukcję, którą tylko Ty zrozumiałeś i potrafiłeś docenić prawdziwą jej wartość? - może w kolejnej edycji instrukcja zostanie poprawiona, a gra wystawiona na KS z masą plastikowych figurek i ocena gry poszybuje w górę? Nie zmienia faktu, że dla ogółu graczy w danym, opisanym momencie ta gra jest bardzo zła.

OK, czyli stwierdziłeś, że gra jest zła (nie wnikajmy z jakiego powodu).
Tak ją ocenili praktycznie wszyscy, bo tylko ja byłem wyjątkiem.

Ty uważasz, że obiektywnie gra jest zła.
Ja uważam, że subiektywnie gra jest zła.

Czy do tego momentu zgadzasz się?
Ciąg dalszy nastąpi po odpowiedzi

Ja natomiast odbiję piłeczkę i spytam Ciebie jaka będzie Twoja odpowiedź na zagadkę którą zadałem Michałowi ze dwie strony wątku wstecz:
100 losowo wytypowanych graczy zagrało wielokrotnie w grę A oraz B, a następnie postanowiło podzielić się swoim wrażeniem dotyczącym chęci zagrania w te dwie gry i (zgodnie z opisem na BGG) grze A wszyscy dali ocenę 1, a grze B wszyscy dali ocenę 10. Twierdzisz, że nic obiektywnego o "dobroci" tych dwóch gier nie da się na tej podstawie powiedzieć?

Twierdzę, że nie da się

Ocena obiektywna nie odwołuje się do czegoś, co u każdego może inaczej działać.
A właśnie u każdego inaczej działa tzw. gust.
Jeden lubi coś w danej grze, a inny tego czegoś (w tej samej grze) nie lubi.
Nie można wyciągnąć średniej z 2 odmiennych gustów, a następnie ogłosić na podstawie wyniku "połowy tej sumy", że to jest obiektywne.
Obiektywne to coś, co zawsze da ten sam wynik i to niezależnie od czyichś gustów, upodobań, chęci, pragnienia, itp.

Ocena obiektywna zawsze daje ten sam wynik u każdego oceniającego.
Jeżeli ktokolwiek z grupy oceniających oceni inaczej niż reszta, i obie grupy mają rację, to znaczy to, że mierzono coś, co nie podlega ocenie obiektywnej, tylko subiektywnej.

Ta ocena (obiektywna) nie będzie uzależniona od tego czy ten oceniający ma dzisiaj dobry humor, czy jest zmęczony, czy lubi to co mierzy, czy się na tym zna (chyba, że sama czynność mierzenia wymaga wiedzy, to wtedy już nie - wiadomo, bo jeżeli ktoś powie zmierz pole koła, a nie wiesz jak to zmierzyć, to nie zmierzysz ).
Nie będzie miało też znaczenia czy zmierzy to dzisiaj czy za rok, bo wynik będzie ten sam (pod warunkiem, że to co jest mierzone nie zmienia się na osi czasu, bo wtedy to jasne, że za rok będzie inny wynik).

Wracając do przykładu:
a) obiektywnie mogę stwierdzić, że gra A nikomu z oceniających nie spodobała się
b) obiektywnie mogę stwierdzić, że gra B wszystkim oceniającym spodobała się

Tylko to można obiektywnie stwierdzić o tej ankiecie (nie o grach, ale właśnie o ankiecie).
Nie można natomiast obiektywnie stwierdzić, że gra A jest zła (bo wszyscy byli na "NIE"), a gra B jest dobra (bo wszyscy byli na "TAK").

[Grzdyll]

Natomiast chętnie poprowadzę dyskusję na temat metodologii statystycznych

Ja też

Uważam, że poprawne zebranie danych ankietowych (w tym, poprawne przygotowanie odpowiedniej ankiety) jest trudne, a przy źle przygotowanej ankiecie wnioski mogą być nieobiektywne (nie muszą, mogą nawet przypadkiem wyjść dobre, ale samo badanie jest wtedy błędnie przeprowadzone)

Jak zaznaczyłem, badaniach ankietowe to nie moja specjalizacja ale nie sposób się nie zgodzić z tak sformułowanym stwierdzeniem

Ale jeśli to badanie miałoby być przeprowadzone poprawnie z punktu widzenia statystycznego to ona nie ma prawa się rozmyć - nie mierzymy tu "dobroci gry" a tylko i wyłącznie chęć gry w nią.
Oczywiście mogłoby to być zrobione jako ogólny wskaźnik, ale wtedy powinien on jawnie brać różne czynniki pod uwagę, żeby różni ludzie oceniali według tej samej metodologii (ja wiem, utopijne myślenie).

Tu wracamy do samego początku tego wątku oraz prawdziwego stwierdzenia, że chęć zagrania w gry nie jest tym samym co "dobroć" gry. Z tym, że to stwierdzenie (poza intelektualnym komfortem osoby to wygłaszającej) do niczego nas w istocie nie prowadzi, bo neguje wszelkie możliwe ocenianie jakościowe. W ten sposób zawsze można zakwestionować, że dowolnie wybrana cecha coś mówi o obiekcie. Ja jednak uparcie uważam, że ta chęć zagrania w grę jest nieobciążonym i optymalnym estymatorem dobroci gry - nawiasem mówiąc ponieważ ją tylko estymuje konsekwentnie staram się tę "dobroć" umieszczać w cudzysłowie. I naprawdę nie trzeba mi powtarzać po raz n-ty że to nie to samo.

Jak dla mnie hype nie jest składową oceny w sensie tego co powinno wskazywać jako chętnie ponownie w tę grę zagram (chyba, że założymy, że ktoś będzie chętnie grał w taką grę tylko dlatego, że jest na nią hype mimo, że np mechanicznie jest słaba, natomiast wtedy przy próbie przeniesienia tego na "jakość gry" będzie mocny bias).

Dla mnie jak najbardziej jest taką składową. Może jesteś wyjątkiem ale w mojej ocenie gracze chętniej wyciągają na stół tę hypowaną, niedawno kupioną "cudowną" grę niż stare Puerto Rico. I nawet jeśli przy kolejnej partii okazuje się, że wrażenia nie są może "aż tak" cudowne jak sobie obiecywaliśmy to wmawiamy sobie, że warto w tę grę nadal grać, żeby się o tym jeszcze raz przekonać. W końcu "tyle innych graczy którzy wysoko ją ocenili nie może się mylić". Nasza subiektywna ocena jest przez to wypaczona ("zbiasowana", jeśli wolisz )

Nie wiem czy tu się do końca zrozumieliśmy - chciałem pokazać grę lekką vs grę ciężką. I o ile oceny wskazują, że ludzie powinni się średnio lepiej bawić przy grze cięższej w praktyce przy losowej próbce z populacji sporo osób na start się do niej odbije, bo jednak w większości (wbrew temu co można zaobserwować na tym forum) ludzie grają raczej w lekkie gry, co można zobaczyć np po liczbie gier w konkretne tytuły na bga (pierwszym tytułem o ciężkości powyżej 3.0 wg bgg jest terra mystica która jest na 10 miejscu dopiero.

Ano faktycznie, nie znając obu tych tytułów nie wyczułem sensu tego porównania. Co do porównywania średnich ocen ocen gier lekkich i ciężkich to z pewnością dobrze byłoby rozpatrywać te kategorie oddzielnie (by the way ta "ciężkość" też podlega subiektywnej ocenie ) ale z szacunku dla rozmówcy nie chcę czegoś sądzić na szybko, musiałbym się się nad tym jeszcze zastanowić.

OK, czyli stwierdziłeś, że gra jest zła (nie wnikajmy z jakiego powodu).
Tak ją ocenili praktycznie wszyscy, bo tylko ja byłem wyjątkiem.

Ty uważasz, że obiektywnie gra jest zła.
Ja uważam, że subiektywnie gra jest zła.

Czy do tego momentu zgadzasz się?
Ciąg dalszy nastąpi po odpowiedzi

Zważając na dalsze akapity nie wiem czy ciągnięcie tego przykładu ma dalej sens ale nie będę Cię pozbawiał przyjemności wciągania mnie w pułapkę logiczną, którą zdaje się na mnie zastawiasz

Na podstawie dotychczasowego opisu nie zgadzam się, z oboma Twoimi podsumowaniami, bo:
Ty uważasz subiektywnie że gra jest dobra (wystawiłeś jej przecież 10, chcesz w nią bardzo grać,więc skąd nagle wniosek że uważasz ją za złą?)
Ja uważam obiektywnie, że ogół graczy uważa ją za złą. Mnie w to nie mieszajmy, ja w nią nie grałem i nie mam pojęcia jaką ocenę bym jej wystawił.

Ja natomiast odbiję piłeczkę i spytam Ciebie jaka będzie Twoja odpowiedź na zagadkę którą zadałem Michałowi ze dwie strony wątku wstecz:
100 losowo wytypowanych graczy zagrało wielokrotnie w grę A oraz B, a następnie postanowiło podzielić się swoim wrażeniem dotyczącym chęci zagrania w te dwie gry i (zgodnie z opisem na BGG) grze A wszyscy dali ocenę 1, a grze B wszyscy dali ocenę 10. Twierdzisz, że nic obiektywnego o "dobroci" tych dwóch gier nie da się na tej podstawie powiedzieć?

Twierdzę, że nie da się

I tu w zasadzie kryje się najważniejsza różnica między nami, wokół której toczy się cały spór. I jeśli jeszcze ktokolwiek nadąża za wymianą argumentów w tym wątku i sądzi tak jak Ty, to raczej go nie przekonam do mojego punktu widzenia. Co nie znaczy, że jednak nie spróbuję, bo nadal uważam, że jesteś w błędzie (a precyzyjniej i bardziej obrazowo "wylewasz dziecko z kąpielą").

Ocena obiektywna nie odwołuje się do czegoś, co u każdego może inaczej działać.
A właśnie u każdego inaczej działa tzw. gust.
Jeden lubi coś w danej grze, a inny tego czegoś (w tej samej grze) nie lubi.
Nie można wyciągnąć średniej z 2 odmiennych gustów, a następnie ogłosić na podstawie wyniku "połowy tej sumy", że to jest obiektywne.
Obiektywne to coś, co zawsze da ten sam wynik i to niezależnie od czyichś gustów, upodobań, chęci, pragnienia, itp.

Ocena obiektywna zawsze daje ten sam wynik u każdego oceniającego.
Jeżeli ktokolwiek z grupy oceniających oceni inaczej niż reszta, i obie grupy mają rację, to znaczy to, że mierzono coś, co nie podlega ocenie obiektywnej, tylko subiektywnej.

Ta ocena (obiektywna) nie będzie uzależniona od tego czy ten oceniający ma dzisiaj dobry humor, czy jest zmęczony, czy lubi to co mierzy, czy się na tym zna (chyba, że sama czynność mierzenia wymaga wiedzy, to wtedy już nie - wiadomo, bo jeżeli ktoś powie zmierz pole koła, a nie wiesz jak to zmierzyć, to nie zmierzysz ).
Nie będzie miało też znaczenia czy zmierzy to dzisiaj czy za rok, bo wynik będzie ten sam (pod warunkiem, że to co jest mierzone nie zmienia się na osi czasu, bo wtedy to jasne, że za rok będzie inny wynik).

Wracając do przykładu:
a) obiektywnie mogę stwierdzić, że gra A nikomu z oceniających nie spodobała się
b) obiektywnie mogę stwierdzić, że gra B wszystkim oceniającym spodobała się

Tylko to można obiektywnie stwierdzić o tej ankiecie (nie o grach, ale właśnie o ankiecie).
Nie można natomiast obiektywnie stwierdzić, że gra A jest zła (bo wszyscy byli na "NIE"), a gra B jest dobra (bo wszyscy byli na "TAK").

Nie chciałem tego ciachać, bo to bardzo ładny, spójny wywód, którego żelazna logika jest prawie niepodważalna (żeby było jasne, piszę to serio, bez żadnej ironii!) i z wieloma z Twoich stwierdzeń nie sposób się nie zgodzić, choć są postawione zbyt radykalnie. Spróbuję wykazać, że Twój wywód nie wyczerpuje całej prawdy (choć zważając na jednoznaczną odpowiedź na moją zagadkę może to być karkołomne zadanie).

Spróbujmy jednak, pozwól, że odejdę na chwilę od gier.

Przypadek 1
Wyobraźmy sobie dwie szkoły podstawowe, A i B. Ktoś stawia tezę, że do szkoły A chodzą średnio wyższe dzieci niż do szkoły B. Aby ją zweryfikować można:
a) zmierzyć wzrost wszystkich dzieci z obu szkół i porównać te średnie - to pomiar całej populacji. Załóżmy, że średnia wzrostu wszystkich dzieci w szkole A wynosi 160 cm, a w szkole B 155 cm. Chyba nie masz wątpliwości, że można w tej sytuacji obiektywnie stwierdzić, że początkowa teza była prawdziwa.
b) w praktyce pomiar całej populacji jest zwykle niemożliwy, zatem można pobierać losowe próby dzieci z obu szkół i wyciągać wnioski na podstawie średnich z prób. To jakie będzie prawdopodobieństwo, że wyciągniemy prawdziwe wnioski opisują dość dobrze zdefiniowane prawa statystyki i testowania hipotez statystycznych. Najważniejsze, że średnie obliczone na podstawie prób mogą się różnie układać (mniej prawdopodobne aby próba dzieci ze szkoły B miała większą średnią niż ze szkoły A ale tak też może być). Nie zmienia to faktu, że dzięki statystyce możemy nadal wyciągać z określonym prawdopodobieństwem (zwykle interesuje nas wysokie) obiektywne wnioski odnośnie danej cechy mierzalnej w obu populacjach generalnych (szkołach).

Przypadek 2
Dokonajmy teraz jednej, ale bardzo istotnej zmiany. Wyobraźmy sobie, że uczniów obu szkół chcemy teraz porównać nie pod względem wzrostu, ale pod względem cechy w istocie niemierzalnej, jaką jest wiedza matematyczna. Teza analogiczna, w szkole A dzieci mają większą wiedzę niż w szkole B. Według Twojej logiki (a także kilku pozostałych interlokutorów - m.in. Michała oraz raja) jesteśmy wobec tak postawionego zadania całkowicie bezbronni i nie jesteśmy tego w ogóle w stanie zrobić. Według mnie nadal można:
a) sprawdzić takim samym zestawem zadań matematycznych, w tym samym momencie ile poprawnie zadań są w stanie rozwiązać uczniowie obu szkół (by the way tak działa ogólnopolska matura). Czy to jedyna miara ich wiedzy matematycznej? Jasne że nie, może akurat zadania ułożyły się tak, że uczniowie szkoły B osiągnęli lepsze wyniki, choć ogólnie są słabsi z matematyki. Ale podobnie jak w przypadku 1 jeśli rzeczywiście w szkole A uczą lepiej matematyki to jest mniej prawdopodobne, że wynik testu pokaże coś odwrotnego. Subiektywnie, jako rodzic dziecka którejś ze szkół możesz sobie twierdzić, co chcesz, że zadania były źle dobrane (że bieżnia była rozmiękła, a dziki jadły jakieś świństwa /Asterix mode off) ale dopóki nie przeprowadzimy kolejnego sprawdzianu jedyną prawdę obiektywną stanowią wyniki które mamy - Ci którzy na podstawie tego testu osiągnęli lepszy wynik będą uznani za obiektywnie lepszych. To samo stwierdzi nauczyciel, kurator czy dyrektor szkoły średniej, do której będą się chcieli dostać. Nikogo nie będzie obchodzić, że może ta estymacja wiedzy uczniów nie odpowiada hipotetycznej prawdzie i czy przy innych zadaniach wyniki byłyby inne.
b) sprawdzić różnymi zestawami zadań matematycznych ich wiedzę. I tu właśnie pojawia się problem rozłączności badanych populacji, który faktycznie może wypaczać wnioskowanie - tym bardziej, im zadania w jednej szkole będą istotnie trudniejsze niż w drugiej. Ale jeśli nawet zadania będą inne ale zbliżonej trudności, to nadal pokażą obiektywnie niezależnie od intencji obserwatora, którzy uczniowie są lepsi, a którzy gorsi z matematyki. Wypada przy okazji zauważyć, że tu wykazanie jaka różnica będzie "istotna" statystycznie jest znacznie trudniejsze niż w przypadku 1, gdy analizowaliśmy cechę mierzalną, czyli wzrost (dlatego protestowałem, gdy ktoś na podstawie ocen z BGG chciał wnioskować wprost coś o przewidywaniach odsetka graczy zadowolonych z gry).

Oczywiście analogię przypadku 2 znajduję w ocenach gier na BGG, gdzie ocena gry (analogia wyniku średniego sprawdzianu uczniów) jest dla mnie obiektywnym niezależnym od intencji obserwatora estymatorem "dobroci" gry dla ogółu graczy (analogia faktycznych umiejętności matematycznych uczniów). Nie wiem czy trafnie zdefiniuję różnicę między naszym "warsztatem pojęciowym" ale chyba inne znaczenie przypisujemy słowu "obiektywny" - Ty zawężasz je do znaczenia "wynik ma być cały czas taki sam, niezależnie od obserwatora, instrumentu, czasu i metody" i ja też z tym zgadzam ale nazywam "obiektywnym" również to, gdy wynik badania może być różny (różne średnie wzrostu dzieci, różne wyniki sprawdzianów z matematyki, różne subiektywne oceny pojedynczych graczy) ale kluczowe jest dla mnie to, że wynik ten jest niezależny od intencji czy interpretacji obserwatora i jest obiektywnie interpretowalny na gruncie statystyki.