Interne test
Voor je eigen team: tot honderd testers via een e-maillijst. Google geeft aan dat interne tests niet altijd langs de gebruikelijke beleids- of beveiligingsreviews gaan.
Beta testers vinden voor je app: waar haal je ze vandaan?
Een testversie verspreiden is het makkelijkste deel: op iOS via TestFlight, op Android via de testsporen in Google Play Console. Het lastige deel is mensen vinden die je app daarna ook echt openen. Hieronder staan beide antwoorden: het verspreiden, en het vinden van mensen die jouw probleem zelf hebben.
01
/
08
Het korte antwoord
Verspreiden is een opgelost probleem. Mensen vinden die je app gebruiken niet.
Technisch is de route helder. Voor iOS gebruik je TestFlight, met interne testers binnen je team en externe testgroepen die langs een beoordeling van Apple gaan. Voor Android zijn er drie testsporen in Google Play Console.
Daar loopt bijna niemand op vast. Het gaat mis in de stap erna: de build staat uit, twintig mensen installeerden hem, en je weet nog steeds niet of je app werkt. Dat is geen tekort aan testers, maar aan de juiste testers.
02
/
08
Een testversie verspreiden op iOS
TestFlight kent interne en externe testers; alleen die tweede groep gaat langs een beoordeling.
TestFlight is de officiele route voor een iOS-build. Testers installeren de gratis TestFlight-app en accepteren daarna een uitnodiging.
- Interne testers. Volgens Apple maximaal honderd App Store Connect-gebruikers met toegang tot je content, dus je eigen team. Hun build gaat niet langs een beoordeling.
- Externe testers. Tot tienduizend mensen buiten je team, per e-mail of via een openbare link waaraan je criteria kunt hangen.
- De beoordeling. De eerste build die je aan een groep toevoegt gaat naar App Review. Volgens Apple hoeft alleen die eerste build beoordeeld te worden.
- Houdbaarheid. Apple documenteert dat je een build tot negentig dagen kunt testen. Daarna upload je een nieuwe.
Die beoordeling is mensenwerk bij Apple en de doorlooptijd bepaal je niet zelf. Reken er niet op dat een externe groep dezelfde dag start. Zie de documentatie van Apple.
03
/
08
De testsporen in Google Play Console
Drie sporen, van klein en snel naar groot en zichtbaar.
Gesloten test
Voor mensen die je zelf uitnodigt, via e-maillijsten of een Google Groep. Per lijst tot tweeduizend gebruikers, en meerdere lijsten per spoor.
Open test
Iedereen kan meedoen en je testversie wordt zichtbaar op Google Play. Kies dit pas als je storevermelding klaar is om gezien te worden.
Voor wie begint zit er een addertje in. Bij persoonlijke ontwikkelaarsaccounts van na 13 november 2023 eist Google een gesloten test voordat je productietoegang kunt aanvragen: minimaal twaalf testers, de laatste veertien dagen aaneengesloten ingeschreven. Wie kort test en zich afmeldt telt niet mee. Je hebt dus geen twaalf e-mailadressen nodig maar twaalf mensen die blijven. Deze regels wijzigen, dus controleer de eisen voor productietoegang en de uitleg van Google.
04
/
08
Je hebt waarschijnlijk geen testerprobleem
Vrienden installeren je app, zeggen dat het er mooi uitziet en gebruiken hem nooit meer.
De meeste founders die zoeken naar beta testers hebben geen testerprobleem maar een feedbackprobleem. Vrienden en familie installeren de app, laten weten dat het er mooi uitziet, en openen hem nooit meer. Een installatie is geen gebruik en een compliment is geen bevinding.
Het is geen onwil. Ze hebben het probleem niet, dus klikken ze uit welwillendheid, en omdat ze je kennen wegen ze hun oordeel af tegen het werk dat je erin stopte.
Bruikbaar wordt het pas als drie dingen kloppen. De persoon heeft het probleem vandaag al. Hij krijgt een concrete opdracht in plaats van de vraag om rond te kijken. En jij kijkt naar wat hij doet, niet naar wat hij ervan zegt. Mensen voorspellen slecht wat ze zouden doen, maar vertellen goed wat ze deden.
Dit levert iets op
- Iemand die het probleem nu met een spreadsheet oplost.
- Een opdracht: boek een afspraak voor donderdag.
- Zien waar iemand aarzelt of terugklikt.
- Doorvragen op wat er de vorige keer gebeurde.
Dit lijkt op testen
- Een appgroep met bekenden en de vraag of ze willen kijken.
- Rondkijken zonder doel, waarna iedereen op het eerste scherm blijft.
- Vragen of iemand het mooi vindt of zou betalen.
- Installaties tellen zonder te weten wat erna gebeurt.
05
/
08
Zo ziet een test eruit die wel iets oplevert
Vier stappen tussen een installatie en een bevinding.
-
Stap 1
Kies vooraf een taak
Bepaal vooraf welke handeling je test. Een taak die de kern raakt, met een duidelijk eindpunt. De rest doet even niet mee.
-
Stap 2
Geef de opdracht en zwijg
Zeg wat iemand moet bereiken, niet hoe. Leg je uit waar iets zit, dan test je jezelf in plaats van je app.
-
Stap 3
Kijk mee terwijl het gebeurt
Zit ernaast of laat het scherm delen. Waar iemand stilvalt of terugklikt, zit je bevinding. Noteer wat er gebeurde.
-
Stap 4
Vraag door op gedrag
Vraag wat hij verwachtte toen hij klikte, en hoe hij dit vandaag zonder jouw app oplost. Dat vertelt je of het probleem groot genoeg is.
Meer over zulke sessies staat bij je app laten testen met gebruikers.
06
/
08
Waar je mensen vindt die het probleem echt hebben
Vier bronnen die werken, en waarom klein beter is dan groot.
- Je eigen wachtlijst. Mensen die zich aanmeldden toen er nog niets bestond, hebben al een keer actief ja gezegd.
- Vakgroepen en communities. Beroepsgroepen op LinkedIn, Slack- en Discord-servers, brancheverenigingen en vakfora. Vraag de beheerder om toestemming en kom binnen met een vraag, niet met een pitch.
- Klanten van een aangrenzend product. Wie al betaalt voor iets dat naast jouw oplossing ligt, neemt het probleem serieus. Een partner met dezelfde doelgroep kan je introduceren.
- De plek waar het probleem ontstaat: de balie, de werkvloer, de vakbeurs. Onhandig, en tegelijk de eerlijkste route.
Heb je nog geen lijst, dan is dat het eerste dat je maakt. Een pagina die uitlegt wat je bouwt en aanmeldingen verzamelt levert je eerste testers; daar is een wachtlijst-app voor bedoeld.
Kies vervolgens klein boven groot. Vijf mensen die je app blijven gebruiken lopen tegen dingen aan die pas bij herhaling zichtbaar worden, zoals een handeling die de derde keer irriteert. Tweehonderd stille installaties leveren een vertekend cijfer op, want wie afhaakte zegt niets. Bij Google zit dezelfde logica in de eis dat testers ingeschreven blijven.
07
/
08
Wanneer je die hele distributielaag kunt overslaan
Bij een prototype heb je geen store of testbuild nodig om te weten of iets werkt.
Alles hierboven gaat over een app die al gebouwd is en via een store moet komen. Zit je daar nog voor, dan is die omweg onnodig. Een klikbaar prototype draait in een browser: je stuurt een link, iemand opent hem op zijn telefoon en jij kijkt mee. Geen ontwikkelaarsaccount, beoordeling of aflopende build.
Dat verandert ook wat je test. Je toetst of mensen begrijpen wat het is en of ze de belangrijkste taak afkrijgen: dezelfde vragen als bij het valideren van je app-idee, en het antwoord is niet minder waard omdat het uit een prototype komt.
Pas als de richting klopt, loont het om een echte build te maken en langs Apple en Google te gaan. Andersom gebeurt het vaker, en dan regel je distributie voor iets waar niemand op wachtte.
08
/
08
Veelgestelde vragen
Hoeveel beta testers heb ik nodig?
Er is geen algemeen getal. Wel een harde eis op Android: voor persoonlijke ontwikkelaarsaccounts van na 13 november 2023 vraagt Google minimaal twaalf testers die veertien dagen aaneengesloten deelnemen aan je gesloten test. Verder zegt een handvol echte gebruikers meer dan honderd stille installaties.
Wat is het verschil tussen interne en externe testers in TestFlight?
Interne testers zijn App Store Connect-gebruikers met toegang tot je content, tot honderd stuks; hun build gaat niet langs een beoordeling. Externe testers zijn mensen buiten je team, tot tienduizend, en daar gaat de eerste build wel langs App Review.
Welk testspoor in Google Play Console moet ik kiezen?
De interne test is voor je eigen team: tot honderd testers via een e-maillijst. De gesloten test is voor uitgenodigde mensen, per lijst tot tweeduizend. De open test zet je testversie zichtbaar op Google Play.
Mijn vrienden gebruiken de app niet, wat nu?
Dat is normaal en het zegt niets over je aantal testers: zij hebben het probleem niet. Zoek mensen die het vandaag anders oplossen, geef ze een opdracht en kijk mee.
Waar vind ik testers als ik nog geen publiek heb?
Begin bij mensen die zich al eens meldden, zoals een wachtlijst. Daarna vakgroepen en communities waar je doelgroep zit, en klanten van een aangrenzend product.
Heb ik TestFlight nodig om mijn idee te testen?
Niet als je nog in de prototypefase zit. Een klikbaar prototype deel je als link, zonder ontwikkelaarsaccount of beoordeling. Pas bij een echte app wordt die route relevant.
