Jakość testowania gier planszowych.

[Brylantino]

a i testować może zwykle jedna osoba (nie jest wymagany np. komplet 4)

Niestety tutaj się nie zgodzę, bo jednak gry video mają tak dużo więcej warstw, które trzeba sprawdzić, że absolutnie 1 osoba nigdy nie wystarczy.

Pracowałem przy projektach, które robiło 5 osób, pracuję obecnie który powstaje przy 40 i w każdym przypadku wymagało to kilka osób minimum, a często i tak kończyło się wynajęciem test-housu, przy którym wtedy mamy nastu testerów pracujących przez parę tygodni.

Testy planszówek to dużo mniejsza skala, bo samych rzeczy do sprawdzenia jest dużo mniej.

[rattkin]

Niestety tutaj się nie zgodzę, bo jednak gry video mają tak dużo więcej warstw, które trzeba sprawdzić, że absolutnie 1 osoba nigdy nie wystarczy.

Naraz, naraz.

[Brylantino]

No ok - nie potrzebujesz 4 naraz, ale w ogólnym rozrachunku potrzebujesz ich kilkunastu razy więcej niż przy planszówkach

[MichalStajszczak]

Ale grę komputerową można stosunkowo łatwo poprawiać, łatwo wypuszczać nowe wersje, a i testować może zwykle jedna osoba

Obawiam się, że do testowania gier typu multiplayer, a szczególnie "massively multiplayer online", jeden tester może nie wystarczyć

[Terk]

@MichalStajszczak, moze wystarczyc. Tak samo jak jeden tester moze sprawdzic, czy ruch w banku utrzyma X tys logowan na minute.

Ciezko porownywac, bo (mam wrazenie) w grach planszowych pomijacie np. testowanie fizycznych komponentow poszczegolnych egzemplarzy, bo drukarnia robi to "w koszcie", a przy testowaniu produktow cyfrowych zwracacie uwage na testowanie wydajnosci, UI itp.

Nie da sie nic w 100% przetestowac. Nic nie "potrzebuje" konkretnej ilosci testowania. Bardzo czesto kryterium jest takie: na testowanie przeznczamy X godzin/pieniedzy, ile sie przetestuje tyle bedzie (i to jest dosc dobre podejscie).

Jesli ktos uwaza, ze rozne produkty potrzebuja innej ilosci testowania, to moim zdaniem okresla to: podejscie i szacunek do klienta, oraz poziom konkurencji w danym obszarze.

[Brylantino]

Jesli ktos uwaza, ze rozne produkty potrzebuja innej ilosci testowania, to moim zdaniem okresla to: podejscie i szacunek do klienta, oraz poziom konkurencji w danym obszarze.

To nie ma nic do rzeczy: po prostu mniejszy projekt = mniej potrzebnych testów i nie trzeba robić w IT przez 10 lat aby można było to dość logicznie stwierdzić.

[Terk]

Jesli ktos uwaza, ze rozne produkty potrzebuja innej ilosci testowania, to moim zdaniem okresla to: podejscie i szacunek do klienta, oraz poziom konkurencji w danym obszarze.

To nie ma nic do rzeczy: po prostu mniejszy projekt = mniej potrzebnych testów i nie trzeba robić w IT przez 10 lat aby można było to dość logicznie stwierdzić.

Dlaczego w takim wypadku Twitter i Facebook pozwala sobie na wrzucanie nieprzetestowanych zmian na produkcję? Główny wyznacznik, to ile będzie kosztował nas błąd, który zauważy klient, wielkość projektu nie ma znaczenia.

[Brylantino]

Jesli ktos uwaza, ze rozne produkty potrzebuja innej ilosci testowania, to moim zdaniem okresla to: podejscie i szacunek do klienta, oraz poziom konkurencji w danym obszarze.

To nie ma nic do rzeczy: po prostu mniejszy projekt = mniej potrzebnych testów i nie trzeba robić w IT przez 10 lat aby można było to dość logicznie stwierdzić.

Dlaczego w takim wypadku Twitter i Facebook pozwala sobie na wrzucanie nieprzetestowanych zmian na produkcję? Główny wyznacznik, to ile będzie kosztował nas błąd, który zauważy klient, wielkość projektu nie ma znaczenia.

Sorry, ale match3 na telefony nie potrzebują tyle testów co Wiedźmin. Tak samo Kieszonkowy Bystrzak nie potrzebował tyle testów co Project Gaia - twierdzenie, że jest inaczej tylko pokazuje, że robimy z testowania sztukę dla sztuki, a nie że faktycznie chcemy coś tym ulepszyć.

[Terk]

Nie jest faktem, że mniejszy projekt mniej testowany niż większy. Wielkość projektu, to jeden z wielu czynników decydujących o tym jak się go testuje i ile zasobów przeznacza.

[MichalStajszczak]

Ciezko porownywac, bo (mam wrazenie) w grach planszowych pomijacie np. testowanie fizycznych komponentow poszczegolnych egzemplarzy

Faktycznie pomijamy (tzn. na pewno ja pomijam). Doświadczony wydawca wie, jaki rodzaj i gramaturę papieru/kartonu/tektury zastosować na pudełko, planszę czy żetony. Żaden wydawca nie testuje kostek do gry pod kątem tego, czy każda liczba oczek wypada mniej więcej tyle samo razy (choć zapewne kasyna takie testy robią).

[BOLLO]

Tak mi się jeszcze przypomniało jak Wookie o tym miał odcinek. Może komuś się przyda jak będzie potrzebował przetestować swoją grę.
TESTOWANIE

[Tuminure]

Jakie są Wasze wrażenia? Spotkaliście się z wydawnictwami/twórcami, które podchodzą do tematu profesjonalnie?

Mnie bardzo dziwi, że niektórzy wydawcy (w tym m.in. Trzewiczek i jego post na bgg o sprzedawaniu rowera) potrafią być pewni co do kwestii balansu w swoich grach. Patrząc na to, jak balansowane są gry komputerowe (np. League of Legends, Hearthstone, Starcraft 2), wydaje mi się komiczne bronienie swojej planszówki jakby była ona dobrze zbalansowana. Ja rozumiem, że idealny balans jest niewykonalny w sensownym czasie ale z drugiej strony rozegranie kilkuset, czy nawet kilku tysięcy rozgrywek bez posiadania obszernych statystyk z każdej rozgrywki nie jest moim zdaniem wystarczające do stwierdzenia, że balans jest wystarczający.

Co gorsza jeszcze bardziej mnie dziwi, że gracze narzekają na łatki balansujące, które pojawiają się po premierze gry. Z ostatnich głośnych przykładów warto wymienić Tapestry, gdzie gracze wręcz się oburzali, sprzedawali grę lub rezygnowali z zakupu, gdy usłyszeli o łatce balansującej niektóre elementy gry.

Imo bardzo brakuje testów związanych z balansem. Chętnie bym się dowiedział który wydawca robi takie testy i na ile uwzględnia wyniki takich testów.

Kolega wyżej ładnie wyjaśnił. Ja tylko dodam, że bardzo fajnie, że testy są już na TTS i stają się coraz powszechniejsze.

Tylko czy mowa o testach, które automatycznie zliczają najróżniejsze statystyki w trakcie rozgrywek i wysyłają je gdzieś? Czy po prostu o wrzuceniu gry na TTS i przepytywaniu graczy o ich opinię?

[MichalStajszczak]

Mnie bardzo dziwi, że niektórzy wydawcy (w tym m.in. Trzewiczek i jego post na bgg o sprzedawaniu rowera) potrafią być pewni co do kwestii balansu w swoich grach.

Jak już wcześniej pisałem w tym wątku, kilka lat temu, zanim jeszcze Ignacy Trzewiczek swoje konto na tym forum wykasował, była na ten temat dyskusja w wątku gry Stronghold.

[Hardkor]

Miałem na myśli te drugą opcje bardziej, ale choćby AR pisało, że testy robią teraz na TTS, bo covid

[Fojtu]

Co gorsza jeszcze bardziej mnie dziwi, że gracze narzekają na łatki balansujące, które pojawiają się po premierze gry. Z ostatnich głośnych przykładów warto wymienić Tapestry, gdzie gracze wręcz się oburzali, sprzedawali grę lub rezygnowali z zakupu, gdy usłyszeli o łatce balansującej niektóre elementy gry.

tutaj raczej nie chodziło o fakt łatki samej w sobie a jej rozmiar i niektóre rozwiązania. Dysbalans frakcji był tak ogromny, że widać było, że coś jest nie tak nawet nie grając w grę. Gra pod względem jest totalnym półproduktem.

[BOLLO]

Wczoraj skończyłem czytać książkę "Najlepsi z najlepszych" w której sporo można było przeczytać o "niepomyślnym teście" dla autora. Generalnie chodziło o to że testerzy lub osoby po prostu próbujące zagrać w prototyp niepochlebnie się wypowiadały na temat gry. Jedni wytykali kluczowe błędy inni po prostu mówili że im się nie podoba.... Z tego co autorzy tych wpisów opisywali to takie negatywne testy są bardzo istotne dla designera i można z nich sporo dobrego wyciągnąć aby ulepszyć swoje dzieło. Ma to jednak sens kiedy dana grupa potrafi wskazać problem i nie jest to jedynie jakaś incydentalna opinia.

Problem też może pojawić się kiedy do testerzy próbują "naprawić" grę autora proponując rozwiązania. Nikt nie siedzi w niczyjej głowie i takie rady mogą spowodować dziwny twór zamiast dobrej planszówki. Tak sobie myślę że niedoświadczonemu autorowi, ciężko jest w tym wszystkim znaleźć balans i nie wie kogo słuchać a kogo nie. Które opinie są ważne i istotne a które to jedynie udawanie że ktoś się zna.

Osobiście miałem przyjemność testowania zaledwie kilku amatorskich gier i nie potrafiłem dać odpowiedniego feedbacku autorowi. Wynikało to z niewiedzy i z braku umiejętności przekazu takowego ale naprawdę trudno mi było nazwać dlaczego dany tytuł jest dla mnie nie ciekawy. Po prostu taki był i się przy niej nudziłem, niczym nie zaskakiwał i setki innych pozycji po prostu robi to lepiej. Pamiętam jak testowałem swoją grę "Diora" ,to testerzy (nie zawodowi) również mieli często problemy z nazwaniem co jest nie tak. Kończyło się to przeważnie na opinii "fajne" /"nie fajne". Dopiero osoby siedzące w hobby potrafiły mnie nakierować na problem który umiałem po czasie rozwiązać.

Jakość testowania w każdym etapie prototypu jest niezmierne ważną rzeczą która może mocno wpłynąć na całą grę.

[toblakai]

Wbrew pozorom bycie testerem gier nie polega na zagraniu i powiedzeniu czy mi się podobało. Jeżeli ktoś chce być testerem to musi do tego podchodzić w bardziej analityczny sposób i testować konkretne rzeczy/zagrania/strategie. Szukać błędów w designie i jego odporność na 'złamanie'.

Tutaj też właśnie uwaga, że do testera nie idzie się po rozwiązania - on ma wskazać problem. Jeżeli jest w stanie go precyzyjnie wskazać to jeszcze lepiej, ale rozwiązań raczej wskazać nie jest ponieważ nie posiada wiedzy o całokształcie projektu.

Natomiast jeżeli jedyny feedback od danej grupy nie polega na wskazaniu problemów mechanicznych, a jedynie swoich odczuć to znaczy, że taki ktoś nie jest testerem tylko częścią grupy testowej na której autor testuje odbiór swojego projektu. To autor tutaj wchodzi w rolę testera który testuje czy dany projekt 'działa' na grupie docelowej tak jak on planował.

Oba rodzaje testów są istotne - różne narzędzia do różnych celów się dobiera.

[papted]

Kiedyś miałeś okazję testować... na jeden raz spoko, ale gdybym miał to robić ciągle... no mało wciągające, tym bardziej, że możesz trafiać na totalne buble

[BOLLO]

Kiedyś miałeś okazję testować... na jeden raz spoko, ale gdybym miał to robić ciągle... no mało wciągające, tym bardziej, że możesz trafiać na totalne buble

Testowałem gry (lub precyzyjniej należałoby napisać, brałem udział w testach) które nie zostały jeszcze wydane i faktycznie grając w nie człowiek się po prostu męczył. Ale przypominam sobie jedną grę która naprawdę mnie pochłonęła podczas testowania i mam nadzieję że ujrzymy ją kiedyś na naszym rynku:
od @Prototypowo

[The Fifth Horseman]

Osobiście miałem przyjemność testowania zaledwie kilku amatorskich gier i nie potrafiłem dać odpowiedniego feedbacku autorowi. Wynikało to z niewiedzy i z braku umiejętności przekazu takowego ale naprawdę trudno mi było nazwać dlaczego dany tytuł jest dla mnie nie ciekawy. Po prostu taki był i się przy niej nudziłem, niczym nie zaskakiwał i setki innych pozycji po prostu robi to lepiej. Pamiętam jak testowałem swoją grę "Diora" ,to testerzy (nie zawodowi) również mieli często problemy z nazwaniem co jest nie tak. Kończyło się to przeważnie na opinii "fajne" /"nie fajne". Dopiero osoby siedzące w hobby potrafiły mnie nakierować na problem który umiałem po czasie rozwiązać.

Jakość testowania w każdym etapie prototypu jest niezmierne ważną rzeczą która może mocno wpłynąć na całą grę.

"Fajne/nie fajne" to pytanie dla grupy fokusowej. Tester powinien stawiać się nie w roli recenzenta wydającego opinię o jakości a raczej wyjątkowo upierdliwego inkwizytora którego sensem życia jest szukanie dziury w całym i "łamanie" gry gdzie się da - gdzie w instrukcji można czegoś nie zrozumieć lub przeinaczyć, czy np sposób przedstawienia setupu i pętli rozgrywki jest sensowny czy np trzeba po instrukcji doszukiwać się na jakiej podstawie wyłonić pierwszego gracza, które mechaniki moga być zabugowane w interakcji między sobą, co jest podatne na nadużycia, czy różne drogi do wygranej są wzajemnie zbalansowane, czy gra nie za mało motywuje graczy do interakcji z konkretnymi mechanikami (lub nie stawia tej interakcji zbyt zaporowych kosztów) itd.

No i oczywiście, drugą stroną testów jest testowanie na casualach - bo musisz wiedzieć, czy przeciętni odbiorcy którzy nie znają się na planszówkach bardzo (albo nawet wcale) ogarną twoje mechaniki i instrukcję.

Cosik o tym wiem, mam nieszczęście pracować z testowaniem oprogramowania.

[sgor]

No i oczywiście, drugą stroną testów jest testowanie na casualach - bo musisz wiedzieć, czy przeciętni odbiorcy którzy nie znają się na planszówkach bardzo (albo nawet wcale) ogarną twoje mechaniki i instrukcję.

Ale to chyba ma sens tylko w grach imprezowych i bardzo, bardzo lekkich rodzinnych. Nie za bardzo widzę wartośc takich testów dla np. Lacerdy, czy Eklunda

[Sheade]

[Mnie bardzo dziwi, że niektórzy wydawcy (w tym m.in. Trzewiczek i jego post na bgg o sprzedawaniu rowera) potrafią być pewni co do kwestii balansu w swoich grach. ?

Tu zrobię tylko mała dygresje, ale w jego przypadku to jest handlowiec cwaniak, on zawsze będzie mówił/pisał że to co robi jest najlepsze, niezawodne. To jest typowe dla handlowców - wpisane kłamstwo, bo oni kalkulują jak coś sprzedać, a nie robić dobry projekt..Dobry produkt to taki, który się dobrze sprzedaje, a jak się dobrze sprzedaje, to znaczy że jest dobrym produktem, prawda? No właśnie nie - ale tak Trzewiczek podchodzi do sprawy. Zresztą to widać po jego materiałach, jak opowiada o czym kołwiek, zawsze z taką przesadna pewnością.

Ja sam wytykałrm różne problemy z grą 51 stan, to zapewniali mnie że to nie błąd tylko celowe działanie. A to była wielutna bzdura. A po prostu nie chcieli się przyznać do błedu, starając się mnie wmówić że nie mam racji. W Portalu tak maja z Trzewiczkiem na czele - mówić to co klient chce usłyszeć. Dlatego ja w nic co Trzewiczek mówi nie wierzę. Ale to taka mała dygresje offtopicwa.

Swoją drogą wszedłem do wątku o testowaniu gier planszowych, a czytam o grach komputerowych Z testami gier planszowych we do komputerowych jest też taki problem, że tam można testować fragmenty pracy, przy grze planszowej tak się nie da, trzeba testować całą rozgrywkę.

Generalnie chodziło o to że testerzy lub osoby po prostu próbujące zagrać w prototyp niepochlebnie się wypowiadały na temat gry. Jedni wytykali kluczowe błędy inni po prostu mówili że im się nie podoba.... Z tego co autorzy tych wpisów opisywali to takie negatywne testy są bardzo istotne dla designera i można z nich sporo dobrego wyciągnąć aby ulepszyć swoje dzieło. Ma to jednak sens kiedy dana grupa potrafi wskazać problem i nie jest to jedynie jakaś incydentalna opinia.

Z tym się bardzo zgodzę. Ja sam jako UI/UX Designer pracujący przy różnych projektach, sam jestem bardzo analityczny i potrafię patrzec okiem krytycznym. Niestety duża część ludzi nie potrafi, albo nie chce. Nie potrafi podejść do testowania. Sam dajac np. pewne fragmenty chodźby swoich fanowskich dodatków do gier - dostawałem opinie pokroju "Zjebane", "Są błędy, popraw", "Nie podoba mi się", albo "Nie działa, nie skończyłem grać". Super fajnie, ale to żaden feedback dla mnie - tu chodzi o analizowanie problemu i wytknięcie konkretów. Co nie zadziało, w jakiej sytuacji, jak często itp. Nie oczekuje pochwał, tylko właśnie krytycznego spojrzenia na projekt - by właśnie wytknąć, co nie działa by wiedzieć co poprawić.

Niestety, ale nie każdy nadaje sie na testera, bo do tego raz trzeba myśleć analitycznie i przedewszystkim umieć oraz nie mieć oporów patrzeć krytycznie. Ja wywodzę się z życiowej szkoły, że wole krytykę, bo przynajmniej wiem, co robie źle i gdzie jest przestrzeń na poprawę. Pochwały są super, ale one w żaden sposób nie rozwijają, więc dla mnie np. są bezwartościowe.

I tak samo jest z testowaniem gier - trzeba być bardzo dociekliwym, umieć wytykać i wiedzieć co się wytyka, dlaczego. A do tego trzeba analitycznego umysłu. Przedewszystkim wyjść z założenia, że testowanie nie ma być zwykła rozgrywką, ale założyć że gra jest skopana i teraz pytanie tylko gdzie i jak, a następnie umieć to udowodnić.

Bardzo często też spotykałem się z odzewem archeotytpu drugiego, do którego pisałeś, czyli samozwańczych szeryfów, którzy mówili mi co mam zrobić lepiej i jak. A kiedy nie widzieli, że tego nie poprawiłem to się obrażali, bądź byli zirytowani Niestety, ale to tak nie działa - dla autora takie informacje są przydatne, bo zbiera opinie, ale to autor zwykle ma szerszą perspektywę na to co chce osiągnąć.

Dlatego ja osobiście bardzo szanuje ludzi, którzy potrafią mi wytknąć błędy, zaargumentować dlaczego, bo to jest poprostu bardzo przydatne. Nawet wole współpracować z osobami, którzy więcej wytykaja niż zachwalają. Bo z pochwał to można tylko wyrosnąć na takiego Trzewiczka, który jest wszystkiego bardzo pewien i nie widzi błędów A finalnie chodzi o dobro dla projektu z którego każdy będzie zadowolony.

[The Fifth Horseman]

Ale to chyba ma sens tylko w grach imprezowych i bardzo, bardzo lekkich rodzinnych. Nie za bardzo widzę wartośc takich testów dla np. Lacerdy, czy Eklunda

Moim zdaniem ma sens we wszystkich, bo nie testujesz ich subiektywnych odczuć tylko czy instrukcja jest wystarczająco jasna żeby na jej podstawie przebrnęli przez rozgrywkę bez większych potknięć. Jeżeli tak, to bardziej zaawansowane grupy też nie będa mieć problemu.

[Prototypowo]

Kiedyś miałeś okazję testować... na jeden raz spoko, ale gdybym miał to robić ciągle... no mało wciągające, tym bardziej, że możesz trafiać na totalne buble

Testowałem gry (lub precyzyjniej należałoby napisać, brałem udział w testach) które nie zostały jeszcze wydane i faktycznie grając w nie człowiek się po prostu męczył. Ale przypominam sobie jedną grę która naprawdę mnie pochłonęła podczas testowania i mam nadzieję że ujrzymy ją kiedyś na naszym rynku:
od @Prototypowo

Tworzy się. Nawet wczoraj testowaliśmy. Ale lejek produkcyjny jest długi, więc trochę jeszcze czasu zejdzie. Najpierw "Spółka ZOO", potem "Theme Park Tycoon" i dalej zobaczymy

Ps. Masa zmian / uproszczeń / wygładzeń od momentu, gdy testowałeś Ba, nawet tytuł się zmienił.