BETA testy gier - jak je przeprowadzic?
- Nataniel
- Administrator
- Posty: 5293
- Rejestracja: 03 cze 2004, 20:46
- Lokalizacja: Gdańsk Osowa
- Been thanked: 6 times
- Kontakt:
BETA testy gier - jak je przeprowadzic?
Ten watek jest niejako uzupelnieniem watku o tym skad wziac testerow:
http://www.gry-planszowe.pl/forum/viewtopic.php?t=3872
Tutaj jednak chcialbym abysmy odpowiedzieli sobie na pytanie w jaki sposob wg Was takie beta testy powinny wygladac. Jakie ulatwienia powinny byc dla testerow? Jakie informacje zwrotne powinni wysylac do wydawcy? Jaki powinien byc zakres i czas trwania testow?
Mam nadzieje, ze wnioski z tego watku beda na tyle wartosciowe, ze posluza za drogowskaz dla kazdego, kto bedzie prowadzil testy swoich gier - takze polskich wydawcow.
http://www.gry-planszowe.pl/forum/viewtopic.php?t=3872
Tutaj jednak chcialbym abysmy odpowiedzieli sobie na pytanie w jaki sposob wg Was takie beta testy powinny wygladac. Jakie ulatwienia powinny byc dla testerow? Jakie informacje zwrotne powinni wysylac do wydawcy? Jaki powinien byc zakres i czas trwania testow?
Mam nadzieje, ze wnioski z tego watku beda na tyle wartosciowe, ze posluza za drogowskaz dla kazdego, kto bedzie prowadzil testy swoich gier - takze polskich wydawcow.
= Artur Nataniel Jedlinski | GG #27211, skype: natanielx =
= Festiwal gier planszowych w Gdyni - GRAMY! =
= Festiwal gier planszowych w Gdyni - GRAMY! =
Re: BETA testy gier - jak je przeprowadzic?
Mysle, ze co najmniej wydawca powinien wersje testowa dostarczyc. Oczywiscie mowimy tu o grze, ktora ktos przyjal do wydania i chce poprawic.Nataniel pisze:Jakie ulatwienia powinny byc dla testerow?
Dodatkowo, sadze, ze milym gestem byloby sprezentowanie gry przynajmniej grupie testerow.
Tu kontynuacja tematu z poprzedniego pytania.Nataniel pisze: Jakie informacje zwrotne powinni wysylac do wydawcy?
Po pierwsze wazne KOGO sie do testow bierze. Zatem, albo grupy albo dajemy po prostu do grania ludziom.
Ci, ktorzy graja dlugi czas beda wiedziec, co ich denerwuje, a ci mlodsi - musza miec jakis formularz.
Ten sie w obu przypadkach przydaje, zatem to wydawca powinien wiedziec, jakie informacje chce uzyskac, wiec je w tym formularzu dostarcza. Za duzo specyfiki w kazdej grze:)
Na pewno powinny byc problemy i na pewno co poprawic.
Plus - jak sadze - przydalaby sie informacja, ile gra trwa.
Zakres? Tzn. czy ludzie moga grac na zmienionych zasadach, czy najpierw dac je do zaaprobowania?Nataniel pisze:Jaki powinien byc zakres i czas trwania testow?
Czas trwania: do upadlego. Czy inaczej - az stwierdzimy, ze gra jest dobra.
Hejhej!
Troszeczkę rzecz obrócę i napiszę, jak - przynajmniej w mojej opinii - powinien przebiegać test z perspektywy wydawcy.
Przede wszystkim bowiem testerzy powinni byc solidni i faktycznie grać, skoro się tego podjęli - a nie poprzestać na jednej partii i wysłać jakąś mało znaczącą uwagę, zeby dostać gratisa i być w instrukcji.
Powinni również być samodzielni i kiedy dostrzegą jakiś problem i wymyślą potencjalne rozwiązanie, przetestować je, zanim zgłoszą je wydawcy.
Ważne, by testerzy czytali instrukcję i zgłaszali wszelkie wątpliwości. Zaskakująco dużo uwag, które się otrzymuje, wynika z tego, że tester nie doczytał czegoś w zasadach. Oczywiście, winne są też testowe instrukcje, które zwykle nie są tak przejrzyste, jak instrukcje właściwe. Warto jednak pamiętać, że kiedy znajdzie się błąd należy najpierw sprawdzić, czy dobrze zinterpretowało się wywołującą go zasadę, a potem zgłaszać uwagi autorom.
Chciałbym również, by byli krytyczni, nawet bardzo, ale nie napastliwi i aroganccy. Autor gry niekoniecznie jest kompletnym idiotą, a fakt, że w grze jest błąd nie świadczy o tym, że powinien repetować przedszkole. :)
Warto również, by odróżniali uwagi, które faktycznie dotyczą gry, od spostrzeżeń wynikających z własnych uprzedzeń. Jeśli coś działa dobrze, ale testerowi się nie podoba, lepiej posłać uwagę "nie podoba mi się, bo nie lubię takich mechanizmów", niż sugerować zmianę. Lepsze jest wrogiem dobrego. Analogicznie, nie powinien czepiać się na siłę, żeby tylko popisać się krytycznością. Autocenzura jest tu najlepszym przyjacielem.
Tester nie powinien też zgłaszać absurdalnych zastrzeżeń, na przykład "obrazki są brzydkie", jeśli gołym okiem widać, że zostały ściagnięte z netu na użytek prototypu.
Ważną rzeczą jest, by odróżniał grę testową od grania w gotowy produkt. To wcale nie jest przyjemne, trzeba bowiem przez cały czas pytać się "czy wszystko działa", analizować każdą możliwość potencjalnego naruszenia zasad lub zachwiania równowagi - a przy tym umieć odpowiedzieć na pytanie "czy grało się dobrze".
I wreszcie, nie powinien być zazdrosny. Nie wszystkie uwagi trafią do finalnego produktu i to nie koniecznie od razu go skreśla. :)
Ważne, by odznaczał się dyskrecją. Nie idzie wcale o to, że autor może się wstydzić popełnionych błędów - ale publiczne i negatywne ocenianie testowanej gry jest fundamentalnie sprzeczne z celem testów. Wychwycony błąd się zwykle poprawia: opinia o nim zostaje, zwłaszcza w sieci. Nie należy również opowiadać szczegółowo o zastosowanych przez autora mechanizmach - nigdy nie wiadomo, kto słucha. :)
No i wreszcie, tester powinien znać się na grach - ale o tym obszerniej w drugim wątku.
Natomiast obowiązki autora wobec testera? Powinien traktować go poważnie od początku do końca: dostarczyć materiały do testów, notować wszelkie uwagi, reagować na pytania i wynagrodzić pracę notatką w instrukcji, darmowym egzemplarzem i czym tam jeszcze. Nie może traktować testów [i]pro forma[/i] i zakładać, że tester się myli. Przy takim podejściu lepiej byłoby w ogóle testów nie prowadzić.
Warto też, by autor zasugerował testerom, którym elementom gry powinni przypatrywać się szczególnie uważnie, a które nie podlegają ocenie (na przykład robocza grafika). Bardzo pomocna jest w tym względzie ankieta ze szczegółowymi pytaniami.
pozdrawiam serdecznie!
Troszeczkę rzecz obrócę i napiszę, jak - przynajmniej w mojej opinii - powinien przebiegać test z perspektywy wydawcy.
Przede wszystkim bowiem testerzy powinni byc solidni i faktycznie grać, skoro się tego podjęli - a nie poprzestać na jednej partii i wysłać jakąś mało znaczącą uwagę, zeby dostać gratisa i być w instrukcji.
Powinni również być samodzielni i kiedy dostrzegą jakiś problem i wymyślą potencjalne rozwiązanie, przetestować je, zanim zgłoszą je wydawcy.
Ważne, by testerzy czytali instrukcję i zgłaszali wszelkie wątpliwości. Zaskakująco dużo uwag, które się otrzymuje, wynika z tego, że tester nie doczytał czegoś w zasadach. Oczywiście, winne są też testowe instrukcje, które zwykle nie są tak przejrzyste, jak instrukcje właściwe. Warto jednak pamiętać, że kiedy znajdzie się błąd należy najpierw sprawdzić, czy dobrze zinterpretowało się wywołującą go zasadę, a potem zgłaszać uwagi autorom.
Chciałbym również, by byli krytyczni, nawet bardzo, ale nie napastliwi i aroganccy. Autor gry niekoniecznie jest kompletnym idiotą, a fakt, że w grze jest błąd nie świadczy o tym, że powinien repetować przedszkole. :)
Warto również, by odróżniali uwagi, które faktycznie dotyczą gry, od spostrzeżeń wynikających z własnych uprzedzeń. Jeśli coś działa dobrze, ale testerowi się nie podoba, lepiej posłać uwagę "nie podoba mi się, bo nie lubię takich mechanizmów", niż sugerować zmianę. Lepsze jest wrogiem dobrego. Analogicznie, nie powinien czepiać się na siłę, żeby tylko popisać się krytycznością. Autocenzura jest tu najlepszym przyjacielem.
Tester nie powinien też zgłaszać absurdalnych zastrzeżeń, na przykład "obrazki są brzydkie", jeśli gołym okiem widać, że zostały ściagnięte z netu na użytek prototypu.
Ważną rzeczą jest, by odróżniał grę testową od grania w gotowy produkt. To wcale nie jest przyjemne, trzeba bowiem przez cały czas pytać się "czy wszystko działa", analizować każdą możliwość potencjalnego naruszenia zasad lub zachwiania równowagi - a przy tym umieć odpowiedzieć na pytanie "czy grało się dobrze".
I wreszcie, nie powinien być zazdrosny. Nie wszystkie uwagi trafią do finalnego produktu i to nie koniecznie od razu go skreśla. :)
Ważne, by odznaczał się dyskrecją. Nie idzie wcale o to, że autor może się wstydzić popełnionych błędów - ale publiczne i negatywne ocenianie testowanej gry jest fundamentalnie sprzeczne z celem testów. Wychwycony błąd się zwykle poprawia: opinia o nim zostaje, zwłaszcza w sieci. Nie należy również opowiadać szczegółowo o zastosowanych przez autora mechanizmach - nigdy nie wiadomo, kto słucha. :)
No i wreszcie, tester powinien znać się na grach - ale o tym obszerniej w drugim wątku.
Natomiast obowiązki autora wobec testera? Powinien traktować go poważnie od początku do końca: dostarczyć materiały do testów, notować wszelkie uwagi, reagować na pytania i wynagrodzić pracę notatką w instrukcji, darmowym egzemplarzem i czym tam jeszcze. Nie może traktować testów [i]pro forma[/i] i zakładać, że tester się myli. Przy takim podejściu lepiej byłoby w ogóle testów nie prowadzić.
Warto też, by autor zasugerował testerom, którym elementom gry powinni przypatrywać się szczególnie uważnie, a które nie podlegają ocenie (na przykład robocza grafika). Bardzo pomocna jest w tym względzie ankieta ze szczegółowymi pytaniami.
pozdrawiam serdecznie!
podstawowym obowiazkiem autora jest dawac testerowi gre na tyle wczesnie ze jest jeszcze czas na zmiany I ICH TESTY. generalnie dawanie testerowi gry ktora juz ma ustalona date premiery (i to np za miesiac) jest wiecej niz niepowazne, choc to z moich doswiadczen standard. nie sposob oprzec sie jednak wrazeniu ze jest to marnowanie czasu testera, takie niby-testy zeby sie dalo napisac ze gra byla testowana.Majkosz pisze:Hejhej!
Natomiast obowiązki autora wobec testera? Powinien traktować go poważnie od początku do końca: dostarczyć materiały do testów, notować wszelkie uwagi, reagować na pytania i wynagrodzić pracę notatką w instrukcji, darmowym egzemplarzem i czym tam jeszcze. Nie może traktować testów pro forma i zakładać, że tester się myli. Przy takim podejściu lepiej byłoby w ogóle testów nie prowadzić.
pozdrawiam serdecznie!
(to jest uwaga do wielu wydawnictw, nie personalnie do majkosza ktorego cytuje)
Ciekawa dyskusja się wywiązała. Pracuję od jakiegoś czasu jako tester oprogramowania komputerowego, a mimo różnicy branży problem jest podobny. Wcześniej nie miałem świadomości, ile zależy od rzetelnie przeprowadzonych testów - o ile łatwiej jest coś poprawić na etapie tworzenia, niż później, kiedy 'gotowy' produkt jest u klienta.
Jak wyglądają testy z mojej perspektywy?
Jest grupa testów, którą z grubsza określę jako 'testy interface'. Sprowadza się to do przeklikania każdego możliwego miejsca w programie, w różnych konfiguracjach itp. Przenosząc to na pole planszówek, wykonuje to za pewne wydawca - chodzi o poprawność opisów na żetonach/kartach/planszy, kolory itp.
Druga grupa, to tzw. testy procesowe. Polegają na używaniu programu w podobny sposób, jak będzie to robił klient. Używanie poprawnych danych, sprawdzanie całych sekwencji działania programu. To jest właśnie odpowiednik beta testu planszówki. Mechanika takiego testu to niestety nie jest prosta sprawa. Przede wszystkim ponad połowę czasu testów (przy sofcie) sprowadza się do przygotowania sobie scenariuszy testowych, w którym jasno, dokładnie i krok po kroku opisana jest cała procedura testu, założenia i spodziewany rezultat. Większość takich scenariuszy przygotowuje tester, część dostaje gotowych.
Jakby to miało wyglądać przy grach planszowych?
Wydaje mi się, że podobnie. Ułożenie scenariusza pozwala na 'usystematyzowanie' testów. Zaczynając od najprostszych spraw np. gramy najpierw we 2, później we 3, później we 4. Aż po bardziej skomplikowane - np. dajemy jednemu graczowi przewagę nad innymi (np. w Osadnikach zakładamy, że przez pierwsze 5 tur wypadają na kostkach tylko surowce dla jednego gracza) i sprawdzamy, czy nie prowadzi to do jego wygranej już na tym etapie gry. Przy grach bardziej losowych (np. losowaniem kart) wypadało by przeprowadzić test jak często można wylosować jakąś wygrywającą kombinację (zazwyczaj są jakieś) i czy nie psuje to balansu.
Bardzo ważną sprawą, jest spisywanie wszystkich uwag, problemów i błędów na jakie się trafiło. Używając scenariuszy, ważne jest też aby zaznaczać które kroki takiego scenariusza zakończyły się powodzeniem. No i po takiej serii testów i przekazaniu wydawcy wyników, powinno się później przetestować poprawki.
A no i na koniec. Najczęstszym pytaniem jakie nasuwa mi się w pracy, testując jakąś aplikacje jest: 'Co autor miał na myśli?' Bo nie zawsze rzecz która mi nie pasuje jest faktycznie błędem, zdarza się że 'Tak ma być'. I to jest kolejne zadanie dla wydawcy - musi dostarczyć testerom pewne ogólne wytyczne na temat gry (nie chodzi o zasady).
Ogólnie bardzo ciekawy temat i postaram się go śledzić z uwagą.
Jak wyglądają testy z mojej perspektywy?
Jest grupa testów, którą z grubsza określę jako 'testy interface'. Sprowadza się to do przeklikania każdego możliwego miejsca w programie, w różnych konfiguracjach itp. Przenosząc to na pole planszówek, wykonuje to za pewne wydawca - chodzi o poprawność opisów na żetonach/kartach/planszy, kolory itp.
Druga grupa, to tzw. testy procesowe. Polegają na używaniu programu w podobny sposób, jak będzie to robił klient. Używanie poprawnych danych, sprawdzanie całych sekwencji działania programu. To jest właśnie odpowiednik beta testu planszówki. Mechanika takiego testu to niestety nie jest prosta sprawa. Przede wszystkim ponad połowę czasu testów (przy sofcie) sprowadza się do przygotowania sobie scenariuszy testowych, w którym jasno, dokładnie i krok po kroku opisana jest cała procedura testu, założenia i spodziewany rezultat. Większość takich scenariuszy przygotowuje tester, część dostaje gotowych.
Jakby to miało wyglądać przy grach planszowych?
Wydaje mi się, że podobnie. Ułożenie scenariusza pozwala na 'usystematyzowanie' testów. Zaczynając od najprostszych spraw np. gramy najpierw we 2, później we 3, później we 4. Aż po bardziej skomplikowane - np. dajemy jednemu graczowi przewagę nad innymi (np. w Osadnikach zakładamy, że przez pierwsze 5 tur wypadają na kostkach tylko surowce dla jednego gracza) i sprawdzamy, czy nie prowadzi to do jego wygranej już na tym etapie gry. Przy grach bardziej losowych (np. losowaniem kart) wypadało by przeprowadzić test jak często można wylosować jakąś wygrywającą kombinację (zazwyczaj są jakieś) i czy nie psuje to balansu.
Bardzo ważną sprawą, jest spisywanie wszystkich uwag, problemów i błędów na jakie się trafiło. Używając scenariuszy, ważne jest też aby zaznaczać które kroki takiego scenariusza zakończyły się powodzeniem. No i po takiej serii testów i przekazaniu wydawcy wyników, powinno się później przetestować poprawki.
A no i na koniec. Najczęstszym pytaniem jakie nasuwa mi się w pracy, testując jakąś aplikacje jest: 'Co autor miał na myśli?' Bo nie zawsze rzecz która mi nie pasuje jest faktycznie błędem, zdarza się że 'Tak ma być'. I to jest kolejne zadanie dla wydawcy - musi dostarczyć testerom pewne ogólne wytyczne na temat gry (nie chodzi o zasady).
Ogólnie bardzo ciekawy temat i postaram się go śledzić z uwagą.
- MichalStajszczak
- Posty: 9479
- Rejestracja: 31 sty 2005, 19:42
- Lokalizacja: Warszawa
- Has thanked: 511 times
- Been thanked: 1449 times
- Kontakt:
Warto tu chyba zacytować zdanie jednego z najwybitniejszych teoretyków programowania komputerów:
"Testowaniem mozna wykazać istnienie błędów, a nie brak błędów"
Może się zdarzyć, że gra jest testowana, ale jakiś błąd nie zostanie wychwycony. Szczególnie, gdy gra jest losowa i sytuacja tak sie ułoży, że do nieprzewidzianej przez autora sytuacji nie dojdzie. Ale na pewno im wiecej testów, tym taka sytuacja jest mniej prawdopodobna. Dużo tez zależy od doswiadczenia, ale też pewnych predyspozycji osób testujacych. Bo często się zdarza, że osobie testujacej przyjdzie do głowy wybór strategii, której autor gry nie przewidział, czy też twórcze wykorzystanie jakiejś luki w przepisach gry. Dlatego uwazam, że testowanie gry powinno przebiegać w kilku etapach. Najpierw powinien to zrobić autor, może w gronie najbliższych znajomych. Następnie kilka oddzielnych zespołów doświadczonych graczy. Przy czym spostrzeżenia, szczególnie wychwycone błędy, powinni natychmiast przekazywać autorowi po to, by mógł od razu zrobić odpowiednie poprawki i by osoby testujace nie traciły czasu na granie w wersję, która i tak musi zostać zmieniona. Ostatnim etapem powinno być testowanie tekstu przepisów, prowadzone na mniej doświadczonych graczach. Chodzi o to, by sprawdzić, czy przepisy są zrozumiałe dla przeciętnego klienta (doswiadczony gracz często intuicyjnie wie, o co mogło chodzic autorowi niejasnych przepisów). Jak z tego widać, proces testowania bardziej złożonej gry musi trwać znacznie dłuzej niż miesiąc.
"Testowaniem mozna wykazać istnienie błędów, a nie brak błędów"
Może się zdarzyć, że gra jest testowana, ale jakiś błąd nie zostanie wychwycony. Szczególnie, gdy gra jest losowa i sytuacja tak sie ułoży, że do nieprzewidzianej przez autora sytuacji nie dojdzie. Ale na pewno im wiecej testów, tym taka sytuacja jest mniej prawdopodobna. Dużo tez zależy od doswiadczenia, ale też pewnych predyspozycji osób testujacych. Bo często się zdarza, że osobie testujacej przyjdzie do głowy wybór strategii, której autor gry nie przewidział, czy też twórcze wykorzystanie jakiejś luki w przepisach gry. Dlatego uwazam, że testowanie gry powinno przebiegać w kilku etapach. Najpierw powinien to zrobić autor, może w gronie najbliższych znajomych. Następnie kilka oddzielnych zespołów doświadczonych graczy. Przy czym spostrzeżenia, szczególnie wychwycone błędy, powinni natychmiast przekazywać autorowi po to, by mógł od razu zrobić odpowiednie poprawki i by osoby testujace nie traciły czasu na granie w wersję, która i tak musi zostać zmieniona. Ostatnim etapem powinno być testowanie tekstu przepisów, prowadzone na mniej doświadczonych graczach. Chodzi o to, by sprawdzić, czy przepisy są zrozumiałe dla przeciętnego klienta (doswiadczony gracz często intuicyjnie wie, o co mogło chodzic autorowi niejasnych przepisów). Jak z tego widać, proces testowania bardziej złożonej gry musi trwać znacznie dłuzej niż miesiąc.
Ja akurat testuje planszowki i sam pomyslalem o podobnym systemie (np. od najmniejszej do najwiekszej liczby graczy).
Sam pomysl sugerowania tego przez wydawce - dobra sprawa.
Druga jednak rzecz - to sprawa poruszona przez bazika. Niestety - slyszalem ze tak bywa, plus juz sie temat na forum przewinal. I nie chcialbym, zeby moje nazwisko sie pojawilo w kilku pozycjach. Juz wydanych, dodajmy.
Nikt co prawda nie czyta tego, kto testowal (przynajmniej ja), tym niejmniej zwykle staram sie odpowiadac za to, co zrobilem.
Inaczej mowiac, trzeba by tu rowniez grupe ustalic, ktora sie wrzuca do instrukcji.
Jak to jest - tak a propos? Istnieja jakies najmniejsze liczby gier, od ktorych sie czlowieka wpisuje?
Sam pomysl sugerowania tego przez wydawce - dobra sprawa.
Druga jednak rzecz - to sprawa poruszona przez bazika. Niestety - slyszalem ze tak bywa, plus juz sie temat na forum przewinal. I nie chcialbym, zeby moje nazwisko sie pojawilo w kilku pozycjach. Juz wydanych, dodajmy.
Nikt co prawda nie czyta tego, kto testowal (przynajmniej ja), tym niejmniej zwykle staram sie odpowiadac za to, co zrobilem.
Inaczej mowiac, trzeba by tu rowniez grupe ustalic, ktora sie wrzuca do instrukcji.
Jak to jest - tak a propos? Istnieja jakies najmniejsze liczby gier, od ktorych sie czlowieka wpisuje?
Sama prawda!
Przede wszystkim, Bazik napomknął o sprawie, którą zapomniałem zaznaczyć (choć w jakimś sensie zamyka się w "nie robieniu testów pro forma"). Wydaje mi się, że ogłaszanie daty premiery przed zamknięciem testów w ogóle mija się z celem (a wierzcie mi, wiem co mówię;) ).
Oczywiście, ten czas też musi być ograniczony: nie da się każej gry testować po pół roku, każdy wydawca by na tym zbankrutował. Zresztą, czas na testy jest też rzeczą względną, ważniejsza jest raczej liczba rozegranych gier.
Dlatego uważam, że na początku wspólpracy autor i testerzy powinni się umówić na to, ile partii w przeciągu danego czasu testerzy podejmują się przeprowadzić, ustalając dogodną dla obu stron liczbę (która oczywiście może uleć zmiane. zależnie od sytuacji - ale bez przesady.)
Co do gry w różną ilość graczy, to też ważna kwestia, z tym, że najrozsądniejsze wydaje mi się rozpoczęcie zabawy od liczby osób podstawowej dla gry (zazwyczaj jest ona jednocześnie liczbą maksymalną) a potem testowanie skalowalności. Jest to o tyle ważne, że niektóre mechanizmy nie skalują się dobrze z samego założenia (na przykład licytacja), a fakt, że gra mniej frajdy przy pewnych konfiguracjach osobowych niekoniecznie jest błędem (na co przykładem niech będzie dwuosobowa rozgrywka w "Wysokie Napięcie", teoretycznie możliwa).
I wreszcie, etap, gdy autorzy (i wydawcy) grają w grę i eliminują błędy, to alfatesty, więc nie sądziłem, że mamy o nich mówić. Natomiast szybkie raportowanie błędów jest wprawdzie chwalebne ale - zwłaszcza przy początkowych partiach - warto upewnić się, czy nie wynikają one ze złej interpretacji przepisów (znów, wiem o czym mówię). Pewnie, autor takie wątpliwości rozwiewa, ale jeśli jest ich wiele tester traci na wiarygodności.
Jeśli chodzi o miejsce w instrukcji, to ja jestem zdania, że należy się wszystkim testującym. Jeżeli czyjeś uwagi szczególnie przyczyniły się do poprawienia gry, to należą mu się podziękowana szczególne (to zresztą standard w większości produkcji zachodnich).
pozdrawiam serdecznie!
Przede wszystkim, Bazik napomknął o sprawie, którą zapomniałem zaznaczyć (choć w jakimś sensie zamyka się w "nie robieniu testów pro forma"). Wydaje mi się, że ogłaszanie daty premiery przed zamknięciem testów w ogóle mija się z celem (a wierzcie mi, wiem co mówię;) ).
Oczywiście, ten czas też musi być ograniczony: nie da się każej gry testować po pół roku, każdy wydawca by na tym zbankrutował. Zresztą, czas na testy jest też rzeczą względną, ważniejsza jest raczej liczba rozegranych gier.
Dlatego uważam, że na początku wspólpracy autor i testerzy powinni się umówić na to, ile partii w przeciągu danego czasu testerzy podejmują się przeprowadzić, ustalając dogodną dla obu stron liczbę (która oczywiście może uleć zmiane. zależnie od sytuacji - ale bez przesady.)
Co do gry w różną ilość graczy, to też ważna kwestia, z tym, że najrozsądniejsze wydaje mi się rozpoczęcie zabawy od liczby osób podstawowej dla gry (zazwyczaj jest ona jednocześnie liczbą maksymalną) a potem testowanie skalowalności. Jest to o tyle ważne, że niektóre mechanizmy nie skalują się dobrze z samego założenia (na przykład licytacja), a fakt, że gra mniej frajdy przy pewnych konfiguracjach osobowych niekoniecznie jest błędem (na co przykładem niech będzie dwuosobowa rozgrywka w "Wysokie Napięcie", teoretycznie możliwa).
I wreszcie, etap, gdy autorzy (i wydawcy) grają w grę i eliminują błędy, to alfatesty, więc nie sądziłem, że mamy o nich mówić. Natomiast szybkie raportowanie błędów jest wprawdzie chwalebne ale - zwłaszcza przy początkowych partiach - warto upewnić się, czy nie wynikają one ze złej interpretacji przepisów (znów, wiem o czym mówię). Pewnie, autor takie wątpliwości rozwiewa, ale jeśli jest ich wiele tester traci na wiarygodności.
Jeśli chodzi o miejsce w instrukcji, to ja jestem zdania, że należy się wszystkim testującym. Jeżeli czyjeś uwagi szczególnie przyczyniły się do poprawienia gry, to należą mu się podziękowana szczególne (to zresztą standard w większości produkcji zachodnich).
pozdrawiam serdecznie!
- Nataniel
- Administrator
- Posty: 5293
- Rejestracja: 03 cze 2004, 20:46
- Lokalizacja: Gdańsk Osowa
- Been thanked: 6 times
- Kontakt:
To moze prowadzic do bardzo kiepskiego syndromu: Tester mowi "to dziala zle" i jezeli slyszy "no to jakbys to poprawil" to tak jakby autor zwalal wine za niedzialajacy mechanizm na testera - jak tester nic nie wymysli, to przeciez potem nie moze sie czepiac. To jest bledne podejscie - od wymyslania mechaniki jest autor, tester od znalezienia bledow / problemow, a nie tworzenia rozwiazan... Cos po prostu moze nie dzialac i tyle - byc moze caly pomysl jest do bani . Zmiana w drobnym elemencie mechaniki moze prowadzic do lawinowej "desynchronizacji" pozostalych elementow, wiec trzeba sie z tym obchodzic ostroznie.Majkosz pisze:Powinni również być samodzielni i kiedy dostrzegą jakiś problem i wymyślą potencjalne rozwiązanie, przetestować je, zanim zgłoszą je wydawcy.
Czasami nie jest to tylko kwestie zrozumienia / doczytania zasad, ale tez ich intuicyjnosci - mala intuicyjnosc prowadzi do czestszych pomylek. Jezeli kilka grup testerow myli sie w tym samym punkcie - to byc moze jest to wazny sygnal.warto upewnić się, czy nie wynikają one ze złej interpretacji przepisów (znów, wiem o czym mówię). Pewnie, autor takie wątpliwości rozwiewa, ale jeśli jest ich wiele tester traci na wiarygodności.
= Artur Nataniel Jedlinski | GG #27211, skype: natanielx =
= Festiwal gier planszowych w Gdyni - GRAMY! =
= Festiwal gier planszowych w Gdyni - GRAMY! =
Zgadzam się z Tobą, Natanielu, w obydwu punktach: to znaczy, że autor nie powinien oczekiwać od testera, że naprawi grę za niego oraz że powszechność omyłek może wiązać się z nieintuicyjnością zasad (którą lepiej wyeliminować, choć nie zawsze się chyba da).
Chodziło mi jednak o dwie inne kwestie, obydwie oparte o dotychczasowe doświadczenia z testerami, również tych innych rodzajów gier.
Jeśli idzie o samodzielność, to często tester podając błąd sugeruje jak go naprawić. Mój tester idealny jeśli dostrzega błąd i ma pomysł na rozwiązanie, sprawdza je od razu w praktyce. Oczywiście, jeśli nie ma pomysłu na rozwiązanie albo nie chce się nim z jakiś powodów dzielić, nie ma takiego obowiązku - zadaniem testera jest wyłapywać błędy, a autora - naprawiać je.
W drugiej kwestii mam podobne doświadczenie: zdarza się, że ludzie nie czytają zasad, ale tylko je przeglądają i najzwyczajniej w świecie sugerują rozwiązania, które są już w instrukcji. To znaczy, że podczas pisania właściwych zasad trzeba zwrócić uwagę na ten fragment, oczywiście - ale uważna lektura materiałów to sposób na zaoszczędzenie frustracji samym testerom.
pozdrowienia serdeczne,
Chodziło mi jednak o dwie inne kwestie, obydwie oparte o dotychczasowe doświadczenia z testerami, również tych innych rodzajów gier.
Jeśli idzie o samodzielność, to często tester podając błąd sugeruje jak go naprawić. Mój tester idealny jeśli dostrzega błąd i ma pomysł na rozwiązanie, sprawdza je od razu w praktyce. Oczywiście, jeśli nie ma pomysłu na rozwiązanie albo nie chce się nim z jakiś powodów dzielić, nie ma takiego obowiązku - zadaniem testera jest wyłapywać błędy, a autora - naprawiać je.
W drugiej kwestii mam podobne doświadczenie: zdarza się, że ludzie nie czytają zasad, ale tylko je przeglądają i najzwyczajniej w świecie sugerują rozwiązania, które są już w instrukcji. To znaczy, że podczas pisania właściwych zasad trzeba zwrócić uwagę na ten fragment, oczywiście - ale uważna lektura materiałów to sposób na zaoszczędzenie frustracji samym testerom.
pozdrowienia serdeczne,
Nie końca się zgodzę. Jeśli grę testuja doświadczeni gracze, to mogą zaproponować wiele rozwiązań, zaś do autora należy decyzja, które wybierze lub czy zdecyduje się na zupełnie inny pomysł.Nataniel pisze: od wymyslania mechaniki jest autor, tester od znalezienia bledow / problemow, a nie tworzenia rozwiazan...
- Nataniel
- Administrator
- Posty: 5293
- Rejestracja: 03 cze 2004, 20:46
- Lokalizacja: Gdańsk Osowa
- Been thanked: 6 times
- Kontakt:
Po pierwsze gracz tester nie bierze na siebie zadnej odpowiedzialnosci za swoja propozycje (bo dlaczegoz mialby), po drugie nie wyobrazam sobie aby siedzial kilka godzin i nad danym problemem na rozne strony rozmyslal - tak jak wlasnie powinien uczynic autor. Byc moze rzucona pierwsza z brzegu propozycja bedzie miala sens, byc moze nie. NIE nalezy jednak tego od testera wymagac ani oczekiwac.draco pisze:Nie końca się zgodzę. Jeśli grę testuja doświadczeni gracze, to mogą zaproponować wiele rozwiązań, zaś do autora należy decyzja, które wybierze lub czy zdecyduje się na zupełnie inny pomysł.
= Artur Nataniel Jedlinski | GG #27211, skype: natanielx =
= Festiwal gier planszowych w Gdyni - GRAMY! =
= Festiwal gier planszowych w Gdyni - GRAMY! =
Jak uważacie,
1. Czy betatesterzy powinni mieć dostęp do swobodnego komunikowania się między sobą ( forum, lista mailingowa), wymieniania poglądów, uwag a zwłaszcza pomysłów?
Zgadzam się że betatesterzy mogą, a nawet powinni sugerować zmiany, ale czy jeśli udostępnimy im swobodny dostęp do takiej wymiany np. w formie forum to czy to nie odciągnie ich od testowania w stronę poprawiania?
Moje doświadczenie uczy, że jest to bardzo prawdopodobne.
2. Czy istnieje potrzeba różnicowania grup betatesterów na różnych poziomach zaawansowania testów?
Wydaje mi się, że może mieć to odniesienie zwłaszcza do instrukcji. Betatester obeznany z grą, może na pewnym etapie przestać zauważać niuanse czy też błędy w niej zawarte.
Przykładowo, jeżeli zgłaszamy jakiś problem z niezrozumieniem zasad autorowi to wystąpić mogą dwie rzeczy: po pierwsze autor osobiście wyjaśni nam problem, po drugie wprowadzi zmiany do instrukcji.
I w tym punkcie wystąpić może sygnalizowany problem: "Dzięki wyjaśnieniom autora betatesterzy mogą nie dostrzec niedokładnych sformułowań w instrukcji ( ponieważ już wiedzą co i jak).
Ponieważ instrukcja przeznaczona jest dla osób niezaznajomionych z grą, to może przynajmniej po uzyskaniu jej finalnego kształtu powinno się zaprezentować ją kilku "świerzynkom"?
1. Czy betatesterzy powinni mieć dostęp do swobodnego komunikowania się między sobą ( forum, lista mailingowa), wymieniania poglądów, uwag a zwłaszcza pomysłów?
Zgadzam się że betatesterzy mogą, a nawet powinni sugerować zmiany, ale czy jeśli udostępnimy im swobodny dostęp do takiej wymiany np. w formie forum to czy to nie odciągnie ich od testowania w stronę poprawiania?
Moje doświadczenie uczy, że jest to bardzo prawdopodobne.
2. Czy istnieje potrzeba różnicowania grup betatesterów na różnych poziomach zaawansowania testów?
Wydaje mi się, że może mieć to odniesienie zwłaszcza do instrukcji. Betatester obeznany z grą, może na pewnym etapie przestać zauważać niuanse czy też błędy w niej zawarte.
Przykładowo, jeżeli zgłaszamy jakiś problem z niezrozumieniem zasad autorowi to wystąpić mogą dwie rzeczy: po pierwsze autor osobiście wyjaśni nam problem, po drugie wprowadzi zmiany do instrukcji.
I w tym punkcie wystąpić może sygnalizowany problem: "Dzięki wyjaśnieniom autora betatesterzy mogą nie dostrzec niedokładnych sformułowań w instrukcji ( ponieważ już wiedzą co i jak).
Ponieważ instrukcja przeznaczona jest dla osób niezaznajomionych z grą, to może przynajmniej po uzyskaniu jej finalnego kształtu powinno się zaprezentować ją kilku "świerzynkom"?
- kwiatosz
- Posty: 7874
- Rejestracja: 30 sty 2006, 23:27
- Lokalizacja: Romford/Londyn
- Has thanked: 132 times
- Been thanked: 417 times
- Kontakt:
...a poprzednia grupkę zakopujesz w lesie, żeby nie rozgadała
Czy istnieje miejsce bardziej pełne chaosu niż Forum? Jednak nawet tam możesz żyć w spokoju, jeśli będzie taka potrzeba" - Seneka, Listy moralne do Lucyliusza , 28.5b
ZnadPlanszy kwiatosza|ZnadPlanszy gradaniowe
Rebel Times - miesięcznik miłośników gier
ZnadPlanszy kwiatosza|ZnadPlanszy gradaniowe
Rebel Times - miesięcznik miłośników gier
Dokładnie tak się to robi na świecie, tzw. blind-testing.bazik pisze:dla mnie test instrukcji wyglada tak: idziesz do grupki niezbyt zaawansowanych osob ktora gry nie widziala, ZAMYKASZ DZIOB NA KLODKE, i patrzysz jak graja po przeczytaniu instrukcji. jesli cos robia nie tak - poprawiasz instrukcje i znajdujesz nowa grupke
- MichalStajszczak
- Posty: 9479
- Rejestracja: 31 sty 2005, 19:42
- Lokalizacja: Warszawa
- Has thanked: 511 times
- Been thanked: 1449 times
- Kontakt:
Majkosz napisał:
Autentyczny przypadek sprzed kilku lat:
Trafił do mnie autor gry, poszukujacy wydawcy (właściwie to wspólny znajomy skierował go do mnie, abym znalazł odpowiedniego wydawcę). Autor zaczął od pochwalenia się tym, że wymyślił niespotykany w grach planszowych rekwizyt, to znaczy dwunastościenną kostkę. Musiał być więc nieźle zaskoczony, gdy pokazałem mu Super Farmera i powiedziałem, że kostka k12 była już zastosowana w polskiej grze 60 lat temu. Ale najlepszy numer był na końcu prezentacji. Zapytałem autora o sredni czas rozgrywki, na co odpowiedział, ze nie wie, bo nigdy jeszcze w tę swoją grę ne grał
Pod warunkiem, że te alfatesty są rzeczywiscie robione ...I wreszcie, etap, gdy autorzy (i wydawcy) grają w grę i eliminują błędy, to alfatesty, więc nie sądziłem, że mamy o nich mówić.
Autentyczny przypadek sprzed kilku lat:
Trafił do mnie autor gry, poszukujacy wydawcy (właściwie to wspólny znajomy skierował go do mnie, abym znalazł odpowiedniego wydawcę). Autor zaczął od pochwalenia się tym, że wymyślił niespotykany w grach planszowych rekwizyt, to znaczy dwunastościenną kostkę. Musiał być więc nieźle zaskoczony, gdy pokazałem mu Super Farmera i powiedziałem, że kostka k12 była już zastosowana w polskiej grze 60 lat temu. Ale najlepszy numer był na końcu prezentacji. Zapytałem autora o sredni czas rozgrywki, na co odpowiedział, ze nie wie, bo nigdy jeszcze w tę swoją grę ne grał
- Nataniel
- Administrator
- Posty: 5293
- Rejestracja: 03 cze 2004, 20:46
- Lokalizacja: Gdańsk Osowa
- Been thanked: 6 times
- Kontakt:
Wg mnie beta testy powinny sprowadzac sie glownie do wypelnienia przez graczy dosyc dlugich, szczegolowych ankietek po kazdej rozgrywce. W ankiecie powinno byc:
1) Dane wszystkich graczy - na ile sa doswiadczeni, ile gier posiadaja, w jakie inne gry lubia grac, jakich innych gier nie lubia, itp.
2) Dane dot. rozgrywki - ile osob, ile czasu, kto wygral, itp.
3) Pytania o wrazenia - ktory gracz jak ocenil gre, czy gracze wczuli sie w klimat, czy byly emocje, czy gra sie dluzyla, jaka byla strategia wygrywajaca, itp.
4) Pytania dot. bledow mechaniki - czy wystapil efekt kingmaking, czy od jakiegos momentu bylo wiadomo kto wygra (od jakiego), czy wszyscy gracze byli zmuszeni wykonac jakas czynnosc, itp.
5) Pytania szczegolowe dot. mechaniki danej gry
6) Luzne pytania o bledy i pomysly
Jak widac prawie cala ankiete, poza czescia 5) mozna ulozyc zupelnie niezaleznie od gry. Jezeli jej wyniki wrzucimy potem sobie do jakiegos programu statystycznego, czy nawet do excela, to powinna nam duzo dac.
Jestem za jak najwiekszym ograniczeniem punktu 6 - jak najwiecej szczegolowych pytan powinno znalezc sie w poprzednich punktach. W ten sposob wypelnianie ankiety - chociaz dosyc obszernej - bedzie jednak szybsze i prostsze dla testera - nie bedzie musial sie zastanawiac o czym tu jeszcze napisac a i na pewno nie zapomni o waznych rzeczach. Taka ankiete sensownie bedzie potrafil wypelnic takze gracz poczatkujacy, co powoduje, ze tych naszych testerow nie musimy szukac wsrod samych doswiadczonych, ale i czesto zajetych, osob.
1) Dane wszystkich graczy - na ile sa doswiadczeni, ile gier posiadaja, w jakie inne gry lubia grac, jakich innych gier nie lubia, itp.
2) Dane dot. rozgrywki - ile osob, ile czasu, kto wygral, itp.
3) Pytania o wrazenia - ktory gracz jak ocenil gre, czy gracze wczuli sie w klimat, czy byly emocje, czy gra sie dluzyla, jaka byla strategia wygrywajaca, itp.
4) Pytania dot. bledow mechaniki - czy wystapil efekt kingmaking, czy od jakiegos momentu bylo wiadomo kto wygra (od jakiego), czy wszyscy gracze byli zmuszeni wykonac jakas czynnosc, itp.
5) Pytania szczegolowe dot. mechaniki danej gry
6) Luzne pytania o bledy i pomysly
Jak widac prawie cala ankiete, poza czescia 5) mozna ulozyc zupelnie niezaleznie od gry. Jezeli jej wyniki wrzucimy potem sobie do jakiegos programu statystycznego, czy nawet do excela, to powinna nam duzo dac.
Jestem za jak najwiekszym ograniczeniem punktu 6 - jak najwiecej szczegolowych pytan powinno znalezc sie w poprzednich punktach. W ten sposob wypelnianie ankiety - chociaz dosyc obszernej - bedzie jednak szybsze i prostsze dla testera - nie bedzie musial sie zastanawiac o czym tu jeszcze napisac a i na pewno nie zapomni o waznych rzeczach. Taka ankiete sensownie bedzie potrafil wypelnic takze gracz poczatkujacy, co powoduje, ze tych naszych testerow nie musimy szukac wsrod samych doswiadczonych, ale i czesto zajetych, osob.
= Artur Nataniel Jedlinski | GG #27211, skype: natanielx =
= Festiwal gier planszowych w Gdyni - GRAMY! =
= Festiwal gier planszowych w Gdyni - GRAMY! =
Oto moje doświadczenia z testowania gry Hannibal Barkas, która wkrótce trafi na półki [Natanielu - wkrótce wyślę Ci newsa ].
1) Czas na testy jest praktycznie nieograniczony. Zasada "im więcej potuna poligonie, tym mniej krwi w walce" sprawdza się w planszówkach również. To autor decyduje, kiedy gra jest gotowa ale myślę, że powinno odbyć się około 100 rozgrywek, aby grę przetestować. Tak też było z Hnnibalem, którego tłukliśmy ponad 2 lata i wcale nie jestem przekonany, że to dużo. Oczywiście jest to sprzeczne z utrzymaniem cyklu wydawnicznego (koszty stałe) i koniecznością wydawania tytułów.
2) Autor gry powinien być bardzo krytyczny wobec uwag graczy, zwłaszcza znajomych. Część z nich pochwali dla kurtuazji. Szczególnie pownno się notować uwagi krytyczne, pochwały mają już mniejsze znaczenie.
3) Ja zrobiłem takie arkusze zbliżone do tych Nataniela i przekazałem egzemplarz testowy grupie play testerów, bez żadnego wstępu, tłumaczenia zasad. Byłem tylko pod telefonem i gg. Już po pierwszych pytaniach zorientowałem się co w instrukcji jest niejasne i co trzeba doprecyzować.
4) Może to banalnie abrzmi ale testerzy muszą zagrać przynajmniej 3-4 razy aby "dotrzeć" do gry. Uwagi po jednej rozgrywce należy traktować z przymrużeniem oka. Oczywiscie daje to tzw."pierwsze wrażenie".
5) Notować, notować i jeszcze raz notować. Wszystko co usłyszysz , luźne uwagi, burze mózgów, pomysły które pojawiają się często w trakcie gry musisz zapisać. Po grze zapomnisz o tym (przynajmniej ja tak mam Po grze możesz już na spokojnie to przeczytać i przemyśleć.
1) Czas na testy jest praktycznie nieograniczony. Zasada "im więcej potuna poligonie, tym mniej krwi w walce" sprawdza się w planszówkach również. To autor decyduje, kiedy gra jest gotowa ale myślę, że powinno odbyć się około 100 rozgrywek, aby grę przetestować. Tak też było z Hnnibalem, którego tłukliśmy ponad 2 lata i wcale nie jestem przekonany, że to dużo. Oczywiście jest to sprzeczne z utrzymaniem cyklu wydawnicznego (koszty stałe) i koniecznością wydawania tytułów.
2) Autor gry powinien być bardzo krytyczny wobec uwag graczy, zwłaszcza znajomych. Część z nich pochwali dla kurtuazji. Szczególnie pownno się notować uwagi krytyczne, pochwały mają już mniejsze znaczenie.
3) Ja zrobiłem takie arkusze zbliżone do tych Nataniela i przekazałem egzemplarz testowy grupie play testerów, bez żadnego wstępu, tłumaczenia zasad. Byłem tylko pod telefonem i gg. Już po pierwszych pytaniach zorientowałem się co w instrukcji jest niejasne i co trzeba doprecyzować.
4) Może to banalnie abrzmi ale testerzy muszą zagrać przynajmniej 3-4 razy aby "dotrzeć" do gry. Uwagi po jednej rozgrywce należy traktować z przymrużeniem oka. Oczywiscie daje to tzw."pierwsze wrażenie".
5) Notować, notować i jeszcze raz notować. Wszystko co usłyszysz , luźne uwagi, burze mózgów, pomysły które pojawiają się często w trakcie gry musisz zapisać. Po grze zapomnisz o tym (przynajmniej ja tak mam Po grze możesz już na spokojnie to przeczytać i przemyśleć.