Pēc 25 gadu izstrādes Neutronium: Parallel Wars un vairāk nekā 12 dokumentētu atskaņošanas testēšanas sesiju es varu pateikt atšķirību starp atskaņošanas testēšanu un profesionālo spēles testēšanu. Lūgšana draugiem spēlēt jūsu spēli nav spēles pārbaude. Tā ir socializēšanās ar savu spēli uz galda. Profesionālā spēļu testēšana ir sistemātiska līdzsvara apstiprināšana — definēti rādītāji, viena mainīgā testēšana, strukturēta datu vākšana un disciplīna, lai katru sesiju uzskatītu par eksperimentu, nevis pieredzi.
Šajā rokasgrāmatā ir aprakstīts, kā tas izskatās praksē: kā iestatīt sesiju, ko izmērīt, kā identificēt noteiktas līdzsvara problēmu kategorijas un — kritiski — kad pārtraukt testēšanu un nosūtīt. Principi attiecas uz jebkuru sarežģītu spēli. Piemēri nāk no Neutronium: Parallel Wars 47 mehānikas un 13 Visuma līmeņiem, kas nodrošināja pietiekami sarežģītību, lai pārbaudītu katru šeit aprakstīto metodiku.
Kāpēc lielākā daļa atskaņošanas testu neizdodas
Visbiežāk sastopamā kļūda spēļu pārbaudē: jautāt: "Vai tas bija jautri?" sesijas beigās. "Jautra" ir pārāk plaša, lai to varētu izmantot. Jautrība nevar pateikt, kurš mehāniķis salauza līdzsvaru. Jautrība nevar pateikt, kurā sesijas brīdī iesaistīšanās samazinājās. Jautrība ir secinājums, nevis diagnoze.
Tā vietā mēriet konkrētus rādītājus: uzvaru līmenis katrā grupā, pirmais konflikts, ienākumu starpība spēles vidū, sesijas ilgums katrā fāzē. Šie skaitļi norāda, kur meklēt. “Jautrība” nepasaka neko, par kuru jūs jau nezinātu.
Kodolostas sniega bumba — 7. Visums
Kodolenerģijas pieslēgvietas Neutronium: Parallel Wars rada eksponenciālus ienākumus: 1 ports dod 2 Nn katrā kārtā, 10 porti dod 220 Nn vienā kārtā. Sākotnējās sesijās spēļu testētāji ekonomiku raksturoja kā "nelīdzsvarotu sajūtu". Nav noderīgi. Lai labotu, bija jāveic mērījumi: kāda bija faktiskā Nn starpība starp līderi un pēdējo vietu Universe 6 galā?
MEQA izsekošana atklāja līderu un pēdējo ienākumu attiecību 14:1 7. sesijā — līderis bija uzkrājis 6 portus, pēdējiem spēlētājiem bija 0. Tā nav "nelīdzsvarota sajūta". Tas ir noteikts skaitlis, kas pārsniedz 5:1 kvalitātes kontroles slieksni un izraisa obligātu dizaina izmaiņu. Bez šī mērījuma labojums būtu bijis minējums. Ar to labojums bija mērķtiecīgs: padariet portus iznīcināmus kaujas laikā. Ienākumu formula nemainīga. Problēma atrisināta.
Nestrukturētas atskaņošanas testēšanas galvenā kļūme: bez noteiktas metrikas nevar atšķirt dizaina problēmu no atskaņotāja pielāgošanas. Pieredzējuši spēlētāji pielāgojas bojātajai mehānikai — viņi veido stratēģijas, ņemot vērā bojājumus, pārstāj par to sūdzēties un liek tai izskatīties kā “spēle tiek spēlēta”. Mērījums atklāj, ko uzvedība slēpj.
MEQA Ietvara pārskats
Produktam Neutronium: Parallel Wars sistemātiskās atskaņošanas testēšanas metodika ir MEQA Framework — četru pīlāru struktūra, kas izstrādāta 25 gadu atkārtošanas laikā. Katrs pīlārs attiecas uz citu testēšanas vajadzību kategoriju:
Izmērāmība
Katrā sesijā ir definēta skaitliskā metrika, kas tiek izsekota pirms sesijas sākuma. Ienākumu attiecības, laimestu likmes, teritoriju skaits, sesijas ilgums katrā fāzē. Ja nevarat tam definēt numuru, nevarat to pārbaudīt.
Saderināšanās
Paciens tiek izsekots katrā Visuma līmenī. Laiks fāzē atklāj, kur spēlētāji izslēdzas, pirms tiek veikta atgriezeniskā saite pēc spēles. Uzmanības pārtraukumi gados jaunākiem spēlētājiem ir izmērāmas iesaistīšanās neveiksmes.
Kvalitātes kontrole
Katram rādītājam definēti atbilstības/neatbilstības sliekšņi, kas iestatīti pirms datu apkopošanas. Pārkāpjot slieksni, tiek veiktas izmaiņas dizainā — tiek noņemta subjektivitāte no jautājuma "kad kaut kas ir pietiekami bojāts, lai to labotu?" jautājums.
Pielāgošanās spēja
Metrika, kas tiek izsekota dažādās spēlētāju grupās: vecuma diapazoni, pieredzes līmeņi, spēlētāju skaits. Mehāniķis, kas ir līdzsvarots pieredzējušiem pieaugušajiem, var katastrofāli piedzīvot neveiksmi dažāda vecuma grupās.
Pilna MEQA Ietvara metodoloģija, tostarp specifiskie rādītāji, kas izmantoti Neutronium: Parallel Wars un kvalitātes kontroles sliekšņa sistēmai, ir detalizēti dokumentēta vietnē __BRAND_MEQA_0047_ Testēšanas metožu sistēma. Atlikums. Šajā rokasgrāmatā galvenā uzmanība ir pievērsta praktiskajai lietojumprogrammai sesijas līmenī.
Playtesting sesijas iestatīšana
Profesionālajām spēļu testēšanas sesijām ir trīs posmi: iestatīšana pirms sesijas, novērošana sesijas laikā un strukturēta informācija pēc sesijas. Katrai fāzei ir noteiktas prasības, kuras lielākā daļa neformālo spēļu testēšanas pilnībā izlaiž.
Pirms sesijas: definējiet tieši vienu mehānikas maiņu, kuru pārbaudāt. Pierakstiet to pirms spēlētāju ierašanās. Ja nevarat apgalvot, ka "šodien mēs pārbaudām, vai kodoliekārtu iznīcināšanas nodrošināšana samazina līderu un pēdējo ienākumu attiecību zem 5:1", jūs neesat gatavs vadīt sesiju. Hipotēzei jābūt konkrētai un falsificējamai. Ierakstiet iepriekšējās sesijas bāzes rādītājus tiešai salīdzināšanai.
Sesijas laikā: norādiet vienu novērotāju, kurš NEspēlē. Novērotāja uzdevums ir reģistrēt: sesijas ilgumu katrā fāzē, lēmuma pieņemšanas laiku vienā gājienā (vidēji), visus apjukuma vai atslēgšanās mirkļus, katras frakcijas uzvaras/zaudējuma stāvokli katrā Visumā. Novērotājs nepiedalās spēlē, nepaskaidro noteikumus un neatbild uz jautājumiem - ja spēlētājam ir jautājums, tie ir dati. Ierakstiet, kas viņus mulsināja un kāpēc.
Pēc sesijas pārskats: maksimāli 15 minūtes. Tikai strukturēti jautājumi — konkrēti uzvedības vaicājumi, nevis "vai jums patika?" Skatiet sadaļu FAQ, lai uzzinātu precīzus izmantojamos jautājumus. Ja iespējams, apkopojiet rakstiskas atbildes — verbālās atbildes zaudē detaļas un rada sociālo aizspriedumu (spēlētāji nevēlas teikt negatīvas lietas tieši dizainerim).
Dati, kas jāapkopo katrā sesijā bez izņēmuma:
- Sesijas ilgums katrā Visuma līmenī
- Uzvara/zaudējums katrai frakcijai
- Pagrieziet skaitu līdz pirmajai cīņai
- Ienākumu atšķirība starp līderi un pēdējo spēlētāju spēles vidū
- Spēlētāju apjukuma gadījumu skaits (definēts kā: spēlētājs uzdod jautājumu par noteikumiem vai veic nelikumīgu darbību)
Līdzsvara problēmu identificēšana
Atlikuma problēmas var iedalīt piecās kategorijās, un katrai no tām ir atšķirīgs signāls datos:
Runaway līderis: signāls — vadošais spēlētājs pēc Universe 5 nekad nav zaudējis 3 no 4 sesijām. Slieksnis: ja līderis uzvar no pozīcijas, ko viņš ieņēma Visumā 4 vairāk nekā 70% sesiju, spēle faktiski beidzas 4. Visumā. Izpētiet ienākumu un teritorijas mehāniku 1.–4. Visumā.
Analīzes paralīze: signāls — vidējais lēmuma pieņemšanas laiks vienā pagriezienā, kas palielinās, jo Visums attīstās ātrāk, nekā to prasa lēmumu sarežģītība. 5 minūšu vidējais pagrieziens Visumā 3, kļūstot par 20 minūšu vidējo pagriezienu Visumā 6, pievienojot tikai 2 jaunas mehānikas, liecina par mehānikas mijiedarbības problēmu, nevis sarežģītības problēmu. Izpētiet, kuri konkrēti lēmumi aizņem visvairāk laika.
Frakciju dominēšana: signāls — viena frakcija uzvar 60% vai vairāk sesiju 5 vai vairāk pārbaužu laikā. Paredzamais uzvaras rādītājs līdzsvarotā četru frakciju spēlē ir aptuveni 25%. 60% frakcija ir ne tikai labāka — tai ir strukturāla priekšrocība, ko citas frakcijas nevar pārvarēt ar labāku spēli. Izpētiet dominējošās frakcijas unikālo mehānismu neparedzētu mijiedarbības efektu noteikšanai.
Iesaistīšanās samazināšanās: signāls — spēlētāji kļūst pasīvi vai manāmi atdalās noteiktā pasaulē. Novērojamā uzvedība: spēlētāji pārbauda tālruņus, paskatās prom no galda, jautā "kad ir mana kārta?" Tie ir izmērāmi notikumi. Pierakstiet, kad tie notiek un kurš Visums bija procesā.
Iit ekonomikas nelīdzsvarotība Visumā 6+
Iit, ekonomikas frakcija, uzvarēja 7 no 10 sesijām Universe 6 un jaunākās versijās kodolostas ienākumu uzkrāšanas dēļ. Dati bija skaidri: 70% uzvaras līmenis, 4 reizes virs paredzamās 25% bāzes līnijas. Tika pārbaudīti trīs labojumi, viens katrā sesijā, ievērojot viena mainīgā kārtulu.
1. pārbaude: samaziniet kodolostas ienākumu vērtības. Rezultāts — uzvaras līmenis samazinājās līdz 28%, pieņemamā diapazonā. Problēma: Iit spēlētāji ziņoja, ka frakcija jūtama "doba" ar samazinātu porta vērtību. Ekonomiskā identitāte tika iznīcināta. Atsaukt.
2. pārbaude: ierobežojiet kodolportu skaitu vienam spēlētājam. Rezultāts — uzvaras līmenis ir 35%, tuvāk līdzsvarotajam. Problēma: spēle vēlīnā spēlē zaudēja savu ekonomiskās eskalācijas dinamiku. Citas frakcijas ziņoja par mazāk interesantiem lēmumiem, kad to nevarēja mērogot. Atsaukt.
3. tests. Padariet kodolportus iznīcināmus kaujas laikā. Rezultāts — uzvaras līmenis ir 31%, pieņemamā diapazonā. Nav negatīvas ietekmes uz citām frakcijām. Ostas ienākumu formula nemainīga — saglabāta ekonomiskā identitāte. Labojums apstiprināts.
Viena mainīgā kārtula
Viena mainīgā noteikums ir vissvarīgākais princips līdzsvara pārbaudē un visbiežāk tiek pārkāpts. Noteikums: starp sesijām mainiet tieši vienu lietu.
Iemesls ir diagnostikas skaidrība. Ja maināt trīs mehānikas un spēle uzlabojas, jūs nezināt, kura izmaiņas bija atbildīgas. Iespējams, esat novērsis vienu problēmu un izveidojis divas citas, kas vēl nav parādījušās. Iespējams, esat novērsis simptomu un atstājis galveno cēloni. Jūs nevarat zināt, jo jūs vienlaikus mainījāt trīs lietas.
Attiecas uz Neutronium: Parallel Wars: kad Universe 7 jutās "pārāk ātri" — sesijas noritēja īsākā laikā, nekā gaidīts, un spēlētāji jutās sasteigti, atsevišķās sesijās tika pētīti trīs iespējamie iemesli.
- A sesija: pagarināta stimulēšana — Universe 7 tika pievienots viens papildu bagātināšanas cikls. Rezultāts: sesijas ilgums palielinājās par 8 minūtēm. Iesaistīšanās rādītājs nemainīgs. Nav galvenais iemesls.
- B sesija: Universe 7 pievienota papildu mehānika. Rezultāts: sesijas ilgums palielinājās par 5 minūtēm. Iesaistīšanās rādītājs ir palielināts. Identificēts daļējs iemesls.
- C sesija: pārkārtota esošā mehānika, lai vienmērīgāk sadalītu lēmumu blīvumu. Rezultāts: sesijas ilgums palielinājās par 6 minūtēm UN iesaistes rādītājs ievērojami palielinājās. Identificēts galvenais iemesls — mehāniskā klasterizācija Visuma beigās radīja sasteigtas galotnes.
Nepārbaudot katru izmaiņu atsevišķi, sesijas C ieskats — mehāniskās klasterizācijas problēma — būtu bijis neredzams. Kombinētā B+C maiņa varēja izskatīties tā, ka “mehānikas pievienošana palīdzēja”, kad faktiskais labojums bija jau esošā satura pārkārtošana.
Testēšana ar jauktām pieredzes grupām
Visgrūtākais līdzsvara izaicinājums galda spēļu izstrādē nav frakciju līdzsvars vai ienākumu mērogošana — tas nodrošina, ka pieredzējuši spēlētāji tajā pašā sesijā nedominē jaunos spēlētājus. Lielākā daļa spēļu dizaineru to pilnībā ignorē un zaudē savu ģimeni un ikdienas auditoriju.
Produktam Neutronium: Parallel Wars MEQA pielāgošanās spējas pīlārs skaidri izsekoja uzvaras rādītājus jauktas pieredzes sesijās. Pirms problēmas risināšanas pieredzējuši spēlētāji uzvarēja 78% jaukto grupu sesiju — tā ir nopietna nelīdzsvarotība, kas neļautu jauniem spēlētājiem atgriezties 2. sesijā.
Risinājums bija Progress Journal handikapa sistēma: pieredzējuši spēlētāji, kuri iepriekš ir uzvarējuši visumā, sāk ar negatīvu Nn bilanci, kas ir proporcionāla viņu pieredzes priekšrocībām. Kalibrēšana tika veikta no MEQA sesijas datiem:
Pieredzējušo pret jauno uzvaras rādītāja mērķis ir 55–65%. Zem 55% nozīmē, ka nav jēgpilnas prasmju izpausmes — pieredzējušiem spēlētājiem nav nekādu priekšrocību no savām zināšanām. Ja rādītājs pārsniedz 65%, jaunā spēlētāja pieredze ir faktiski sabojāta — viņi nevar konkurēt neatkarīgi no pieņemtajiem lēmumiem.
Pieredzes nepilnību noteikšana datos: izsekojiet katra spēlētāja sesiju skaitu kopā ar datiem par uzvaru/zaudējumiem. Ja spēlētājs ar 10 sesijām uzvar 75% spēļu pret spēlētājiem ar 2 sesijām, handikapa kalibrēšana ir jāpielāgo — vai arī paši mehāniķi rada neatgriezeniskas priekšrocības, kas pārāk ātri savienojas.
12 sesiju klints spēlē Neutronium: pēc 12+ sesiju uzkrātajām spēlētājiem spēle kļuva nepieejama jauniem spēlētājiem, kuri pievienojās pirmo reizi. Mehāniķu zināšanu trūkums bija pārāk liels, lai pārvarētu parasto spēli. Labojums: Progresa žurnāla sistēma, kas padarīja redzamu pieredzes atšķirību un piemēroja proporcionālu korekciju. Bez datiem, kas īpaši parāda 12 sesiju klinti, šī problēma būtu parādījusies kā "jauni spēlētāji neatgriežas", nevis "jauni spēlētāji 1. sesijā ar 12 sesiju rīkotājiem ir ieguvuši 23% uzvaras."
Kad pārtraukt atskaņošanas testēšanu
Viena no visbiežāk pieļautajām kļūdām galda spēļu izstrādē ir spēļu testēšana bezgalīgi — izmantojot “mēs joprojām veicam spēles testēšanu”, lai izvairītos no piegādes. Tā ir baiļu reakcija, kas ietērpta kā stingrība. Kādā brīdī dati norāda, ka esat pabeidzis.
Samazinošas atdeves tests: ja trīs secīgās spēles testēšanas sesijās netiek iegūti praktiski izmantojami datu punkti — neviena metrika nepārkāpj kvalitātes kontroles slieksni, netiek reģistrēti jauni sajaukšanas notikumi, netiek identificēti iesaistīšanās kritumi, jūs esat sasniedzis spēles testa piesātinājumu pašreizējam spēles stāvoklim. Papildu sesijas rada apstiprinājumu, nevis atklāšanu.
Neutronium: Parallel Wars kuģa gatavības kritēriji ir:
- Uzvaru līmenis visās 4 frakcijās ir 10% robežās no vienāda (mērķis: 25% katrai, pieņemams diapazons: 22–28% katrai frakcijai)
- Iesaistīšanās rādītājs saglabājas virs 4 no 5 visās sesijās Universes 1–6.
- Trīs secīgās sesijās Universes 1–3 (pamatspēle) nav reģistrēts neviens neskaidrības notikums.
- Dažādas pieredzes ieguvumu līmenis (pieredzējis pret jaunu) 55–65% diapazonā 3 sesijās pēc kārtas
Ja trīs secīgās sesijās ir izpildīti visi četri kritēriji, spēle ir kuģa stāvoklī. Nav ideāls — "ideāls" nav jēgpilns spēles stāvoklis. Nosūtīšanas stāvoklis nozīmē, ka datos vairs netiek identificēti uzlabojumi, kas izmērāmā veidā mainītu spēlētāja pieredzi.
Bieži uzdotie jautājumi
Izlasiet visu MEQA ietvaru
Pilnīga MEQA metodoloģija, tostarp kvalitātes kontroles sliekšņi, metrikas definīcijas un pilns kodolieroču ostas gadījuma pētījums, ir dokumentēts rakstā MEQA Ietvara rakstā.
Izlasiet MEQA ietvaru →