Pärast 25 aastat arendamist Neutronium: Parallel Wars ja 12+ dokumenteeritud mängutestimise seanssi võin öelda, mis vahe on mängutestimise ja professionaalse mängutestimise vahel. Sõpradel oma mängu mängima palumine ei ole mängutestimine. See on suhtlemine teie laual oleva mänguga. Professionaalne mängutestimine on süstemaatiline tasakaalu valideerimine – määratletud mõõdikud, ühe muutujaga testimine, struktureeritud andmete kogumine ja distsipliin, mille kohaselt käsitletakse iga seanssi pigem katse kui kogemusena.
See juhend kirjeldab, kuidas see praktikas välja näeb: kuidas seanssi üles seada, mida mõõta, kuidas tuvastada tasakaaluprobleemide konkreetseid kategooriaid ja – kriitiliselt – millal testimine lõpetada ja tarnida. Põhimõtted kehtivad iga keeruka mängu puhul. Näited pärinevad Neutronium: Parallel Wars 47 mehaanikast ja 13 universumitasemest, mis pakkusid piisavalt keerukust, et testida kõiki siin kirjeldatud metoodikaid.
Miks enamik esituskatsetest ebaõnnestub
Kõige levinum viga mängutestimisel: küsimus "kas see oli lõbus?" seansi lõpus. "Lõbus" on liiga lai, et seda saaks kasutada. Lõbus ei saa öelda, milline mehaanik tasakaalu rikkus. Lõbus ei saa teile öelda, millisel seansi hetkel sessioon langes. Lõbus on järeldus, mitte diagnoos.
Selle asemel mõõtke konkreetseid mõõdikuid: võidumäär fraktsiooni kohta, pöördumised esimesele konfliktile, sissetulekute erinevus mängu keskpaigas, seansi pikkus faasi kohta. Need numbrid näitavad, kust otsida. "Lõbus" ei ütle teile midagi, mida te juba ei kahtlustanud.
Tuumasadama lumepall – universum 7
Tuumapordid Neutronium: Parallel Wars genereerivad eksponentsiaalset tulu: 1 port annab 2 Nn vooru kohta, 10 porti 220 Nn ringi kohta. Varastel seanssidel kirjeldasid mängutestijad majandust kui "tasakaalustamata tunnet". Pole kasulik. Parandus nõudis mõõtmist: milline oli tegelik Nn erinevus liidri ja viimase koha vahel universumi 6 lõpus?
MEQA jälgimine näitas, et liidri ja viimase sissetuleku suhe oli 7. sessioonis 14:1 – liidril oli kogunenud 6 porti, järelmängijatel 0. See ei ole "tasakaalustamata tunne". See on määratletud arv, mis ületab 5:1 kvaliteedikontrolli läve ja käivitab kohustusliku disainimuudatuse. Ilma selle mõõtmiseta oleks lahendus olnud oletus. Sellega oli parandus suunatud: muutke pordid lahingu ajal hävitatavaks. Sissetulekuvalem muutmata. Probleem lahendatud.
Struktureerimata mängutestimise põhitõrge: ilma määratletud mõõdikuteta ei saa te disainiprobleemi mängija kohandamisest eristada. Kogenud mängijad kohanduvad katkise mehaanikaga – nad loovad rikke ümber strateegiaid, lõpetavad selle üle kurtmise ja jätavad selle välja nägema "mängu mängimise viisina". Mõõtmine näitab, mida käitumine varjab.
MEQA raamistiku ülevaade
Teenuse Neutronium: Parallel Wars puhul on süstemaatiliseks mängutestimise metoodikaks MEQA Framework – nelja sambaga struktuur, mis on välja töötatud 25-aastase iteratsiooni jooksul. Iga sammas käsitleb erinevat testimisvajaduse kategooriat:
Mõõdetavus
Igal seansil on määratletud numbrilised mõõdikud, mida jälgitakse enne seansi algust. Sissetulekusuhted, võidumäärad, territooriumide arv, seansi pikkus faasi kohta. Kui te ei saa sellele arvu määrata, ei saa te seda testida.
Kaasamine
Südamust jälgitakse universumi tasandi kaupa. Aeg faasi kohta näitab, kus mängijad lahkuvad enne mängujärgset tagasisidet. Tähelepanupausid nooremate mängijate puhul on mõõdetavad seotuse ebaõnnestumised.
Kvaliteedikontroll
Iga mõõdiku jaoks määratud läbimise/ebaõnnestumise künnised, mis määratakse enne andmete kogumist. Läve ületamine käivitab kujunduse muudatuse – subjektiivsuse eemaldamine küsimusest "millal on midagi parandamiseks piisavalt katki?" küsimus.
Kohanemisvõime
Erinevate mängijarühmade lõikes jälgitavad mõõdikud: vanusevahemikud, kogemuste tasemed, mängijate arv. Kogenud täiskasvanute jaoks tasakaalustatud mehaanik võib segavanuseliste rühmade puhul katastroofiliselt ebaõnnestuda.
Täielik MEQA raamistiku metoodika – sealhulgas Neutronium: Parallel Wars jaoks kasutatavad spetsiifilised mõõdikud ja kvaliteedikontrolli lävisüsteem – on üksikasjalikult dokumenteeritud aadressil __BRAND_MEQA_0047_ Testimise metoodika A_ravening Gamehod. Saldo. See juhend keskendub praktilisele seansi tasemel rakendusele.
Mängutestimise seansi seadistamine
Professionaalsetel mängutestide seanssidel on kolm faasi: seansieelne seadistamine, seansi ajal jälgimine ja seansijärgne struktureeritud ülevaade. Igal etapil on spetsiifilised nõuded, mille enamik mitteametlikke mänguteste jätab täielikult vahele.
Seansieelne: määrake täpselt üks testitav mehaaniline muudatus. Kirjutage see enne mängijate saabumist üles. Kui te ei saa väita, et "täna katsetame, kas tuumasadamate hävitatavaks muutmine vähendab liidri ja viimase sissetuleku suhet alla 5:1" - te pole valmis seanssi käivitama. Hüpotees peab olema konkreetne ja võltsitav. Salvestage otseseks võrdlemiseks eelmise seansi baasmõõdikud.
Seansi ajal: määrake üks vaatleja, kes EI mängi. Vaatleja ülesanne on salvestada: seansi pikkus faasi kohta, otsustusaeg pöörde kohta (keskmine), kõik segaduse või lahutamise hetked, võidu/kaotuse olek fraktsiooni kohta universumi kohta. Vaatleja ei osale mängus, ei selgita reegleid ega vasta küsimustele – kui mängijal on küsimus, on need andmed. Kirjutage üles, mis neid segadusse ajas ja miks.
Seansijärgne ülevaade: maksimaalselt 15 minutit. Ainult struktureeritud küsimused – konkreetsed käitumuslikud päringud, mitte "kas teile meeldis?" Täpsed kasutatavad küsimused leiate KKK jaotisest. Võimalusel koguge kirjalikke vastuseid – suulised vastused kaotavad üksikasjad ja toovad kaasa sotsiaalse eelarvamuse (mängijad ei taha disainerile negatiivseid asju öelda).
Andmed, mida koguda eranditult igal seansil:
- Seansi pikkus universumi astme kohta
- Võit/kaotus fraktsiooni kohta
- Pööra loendus esimesele lahingule
- Sissetulekute erinevus liidri ja järelmängija vahel keskmängus
- Mängijate segadusjuhtumite arv (määratletud kui: mängija esitab reeglite küsimuse või sooritab ebaseadusliku toimingu)
Tasakaaluprobleemide tuvastamine
Tasakaaluprobleemid jagunevad viide kategooriasse, millest igaühel on andmetes eraldi signaal:
Runaway liider: signaal – juhtiv mängija ei kaotanud pärast Universe 5 kordagi 3 seanssi 4-st. Lävi: kui liider võidab positsioonilt, mis tal oli universumis 4 enam kui 70% seanssidest, lõpeb mäng tegelikult universumis 4. Uurige sissetulekute ja territooriumi mehaanikat universumites 1–4.
Analüüsi halvatus: signaal – keskmine otsustusaeg pöörde kohta suureneb, kui universumid arenevad kiiremini, kui otsuste keerukus nõuab. Kui 5-minutiline keskmine pööre 3. universumis muutub 20-minutiliseks keskmiseks pöördeks universumis 6, millele on lisatud ainult 2 uut mehaanikat, viitab mehaanilise interaktsiooni probleemile, mitte keerukuse probleemile. Uurige, millised konkreetsed otsused võtavad kõige rohkem aega.
Fraktsiooni domineerimine: signaal – üks fraktsioon võidab 5 või enama testiga 60% või rohkem seanssidest. Oodatav võidumäär tasavägises 4-fraktsioonilises mängus on ligikaudu 25%. 60% juures pole fraktsioon lihtsalt parem – sellel on struktuurne eelis, mida teised fraktsioonid parema mänguga ületada ei saa. Uurige domineeriva fraktsiooni ainulaadset mehaanikat ettenägematute interaktsiooniefektide osas.
Seotuse langus: signaal – mängijad muutuvad konkreetses universumis passiivseks või nähtavalt lahti. Jälgitav käitumine: mängijad kontrollivad telefone, vaatavad laualt kõrvale, küsivad "millal on minu kord?" Need on mõõdetavad sündmused. Salvestage, millal need ilmnevad ja milline universum oli pooleli.
Iit majanduse tasakaalustamatus universumis 6+
Iit, majandusfraktsioon, võitis tuumasadama tulude kogumise tõttu 7 seanssi kümnest Universe 6 ja kõrgemal tasemel. Andmed olid selged: 70% võidumäär, 4 korda üle oodatud 25% algtaseme. Testiti kolme parandust, ühte seansi kohta, järgides ühe muutuja reeglit.
1. test: vähendage tuumasadama tuluväärtusi. Tulemus - Iit langes 28% -ni vastuvõetavas vahemikus. Probleem: IIT-i mängijad teatasid, et fraktsioon tundis end "õõnsana" vähendatud pordi väärtusega. Majanduslik identiteet hävitati. Tagasipööramine.
2. test: piirake tuumasadamate arvu mängija kohta. Tulemus – võidumäär on 35%, lähemal tasakaalule. Probleem: hiline mäng kaotas oma majandusliku eskalatsiooni dünaamika. Teised fraktsioonid teatasid vähem huvitavatest otsustest, kui ma ei saanud skaleerida. Tagasipööramine.
3. test: muutke tuumasadamad lahingu ajal hävitatavaks. Tulemus – võidumäär on 31%, vastuvõetavas vahemikus. Puudub negatiivne mõju teistele fraktsioonidele. Sadamatulu valem muutmata – majanduslik identiteet säilinud. Parandus kinnitatud.
Ühe muutuja reegel
Ühe muutuja reegel on tasakaalu testimisel kõige olulisem ja kõige sagedamini rikutud põhimõte. Reegel: muutke seansside vahel täpselt ühte asja.
Põhjus on diagnostiline selgus. Kui muudate kolme mehaanikat ja mäng paraneb, ei tea te, milline muutus oli selle põhjuseks. Võimalik, et olete lahendanud ühe probleemi ja loonud kaks teist, mis pole veel ilmnenud. Võib-olla olete parandanud sümptomi ja jätnud algpõhjuse paika. Sa ei saa teada, sest sa muutsid korraga kolme asja.
Rakendati Neutronium: Parallel Wars puhul: kui universum 7 tundus "liiga kiire" – seansid kestsid oodatust lühemalt ja mängijad tundsid end kiirustades –, uuriti kolme võimalikku põhjust eraldi seanssides:
- Seanss A: pikendatud stimulatsioon – lisati Universe 7-le üks täiendav rikastamistsükkel. Tulemus: seansi pikkus suurenes 8 minuti võrra. Kaasamisskoor ei muutunud. Mitte algpõhjus.
- Seanss B: Universumi 7 lisati täiendav mehaanika. Tulemus: seansi pikkus suurenes 5 minuti võrra. Kihlusskoor tõusis. Osaline põhjus tuvastatud.
- Seanss C: olemasoleva mehaanika ümberkorraldamine, et otsuste tihedus ühtlasemalt jaotada. Tulemus: seansi pikkus suurenes 6 minuti võrra JA seotuse skoor suurenes märkimisväärselt. Tuvastati algpõhjus – mehaaniline rühmitus universumi lõpus lõi kiired lõpud.
Ilma iga muudatuse eraldi testimiseta oleks seansi C ülevaade – mehaanilise klastrite moodustamise probleem – olnud nähtamatu. B+C kombineeritud muutmine võis tunduda nii, et "mehaanika lisamine aitas", kui tegelik parandus oli juba olemasoleva ümberkorraldamine.
Testimine kombineeritud kogemusrühmadega
Kõige raskem tasakaalu väljakutse lauamängude kujundamisel ei ole fraktsioonide tasakaal ega sissetulekute skaleerimine – see tagab, et kogenud mängijad ei domineeriks samal seansil uute mängijate üle triviaalselt. Enamik mängudisainereid ignoreerib seda täielikult ning kaotab oma perekonna ja juhusliku publiku.
Teenuse Neutronium: Parallel Wars puhul jälgis MEQA kohanemisvõime sammas selgesõnaliselt kombineeritud kasutuskogemusega seansside võidumäärasid. Enne probleemiga tegelemist võitsid kogenud mängijad 78% segarühmade sessioonidest – see on tõsine tasakaalustamatus, mis takistaks uutel mängijatel 2. sessioonile naasmist.
Lahendus oli Progress Journali händikäpisüsteem: kogenud mängijad, kes on varem universumi võitnud, alustavad negatiivse Nn-saldoga, mis on võrdeline nende kogemuste eelisega. Kalibreerimine pärineb MEQA seansi andmetest:
Kogenud-uute võidumäära eesmärk on 55–65%. Alla 55% tähendab, et oskuste väljendus pole mõtet – kogenud mängijatel pole oma teadmistest mingit eelist. Üle 65% tähendab, et uue mängija kogemus on tegelikult katki – nad ei saa konkureerida sõltumata tehtud otsustest.
Kogemuslünkade tuvastamine andmetes: jälgige iga mängija seansside arvu koos võitude/kaotuste andmetega. Kui 10 sessiooniga mängija võidab 75% mängudest 2 sessiooniga mängijate vastu, tuleb händikäpi kalibreerimist kohandada – või mehaanika ise loob pöördumatuid eeliseid, mis liialt kiiresti lisanduvad.
12 seansi kalju mängus Neutronium: pärast seda, kui võõrustajamängijatel kogunes 12+ seanssi, muutus mäng esimest korda liituvatele uutele mängijatele kättesaamatuks. Mehaaniku teadmiste lünk oli liiga suur, et tavalist mängu ületada. Parandus: Progress Journali süsteem, mis muutis kogemuste erinevuse nähtavaks ja rakendas proportsionaalse paranduse. Ilma andmeteta, mis näitavad konkreetselt 12-seansi kalju, oleks see probleem ilmnenud järgmiselt: "uued mängijad ei tule tagasi", mitte "12-seansi võõrustajatega 1. sessiooni uute mängijate võidumäär on 23%.
Millal Playtesting peatada
Üks levinumaid vigu lauamängude arendamisel on lõputu mängutestimine – tarnimise vältimise põhjusena kasutatakse sõna "mängime veel testime". See on hirmureaktsioon, mis on riietatud ranguks. Mingil hetkel näitavad andmed, et olete lõpetanud.
Kahaneva tootluse test: kui kolm järjestikust mängutestimise seanssi ei anna toimivaid andmepunkte – ükski mõõdik ei ületa QC läve, uusi segadussündmusi ei registreerita, seotuse langust ei tuvastata –, olete mängu praeguse oleku jaoks jõudnud mängutesti küllastumiseni. Täiendavad seansid toovad kinnitust, mitte avastamist.
Neutronium: Parallel Wars laevavalmiduse kriteeriumid on järgmised:
- Kõigi nelja fraktsiooni võidumäär on 10% piires võrdsest (eesmärk: igaüks 25%, aktsepteeritav vahemik: 22–28% fraktsiooni kohta)
- Kaasamisskoor jääb universumites 1–6 kõigi seansside jooksul üle 4 punkti 5-st
- Universumites 1–3 (põhimäng) kolme järjestikuse seansi jooksul ei salvestatud segadussündmusi.
- Mitme kasutuskogemuse võidumäär (kogenud vs uus) vahemikus 55–65% kolme järjestikuse seansi jooksul
Kui kõik neli kriteeriumi on täidetud kolme järjestikuse seansi jooksul, on mäng laeva seisukorras. Pole täiuslik – "täiuslik" ei ole mängu jaoks tähendusrikas olek. Tarneseisund tähendab, et andmed ei tuvasta enam täiustusi, mis muudaksid mängija kogemust mõõdetaval viisil.
Korduma kippuvad küsimused
Lugege täielikku MEQA raamistikku
Täielik MEQA metoodika – sealhulgas kvaliteedikontrolli läved, mõõdikute määratlused ja täielik tuumasadama juhtumiuuring – on dokumenteeritud raamistiku artiklis MEQA.
Lugege MEQA raamistikku →