Zo doen wij een nulmeting: meten voordat er iets verandert

Het probleem met achteraf

Een verbouwde website ziet er altijd beter uit dan de oude. Dat is geen prestatie, dat is het effect van nieuw. De vraag die ertoe doet is of hij ook beter wérkt, en die vraag kun je alleen beantwoorden als je de oude toestand hebt vastgelegd voordat hij verdween.

Daar gaat het bijna altijd mis. Niet uit onwil, maar omdat de oude toestand zich niet laat terughalen. Analytics vult met terugwerkende kracht niets aan. De oude pagina's staan er niet meer. En de herinnering dat het "traag" was, is geen meting.

Daarom begint elk project bij ons met een nulmeting. Een document dat niets verbetert en niets adviseert, maar één ding doet: vastleggen waar we beginnen, met een bron onder elk cijfer.

Vijf hoeken tegelijk, en niemand die de ander napraat

Een nulmeting die één iemand maakt, meet wat die iemand toevallig belangrijk vindt. Wij verdelen hem daarom in vijf hoeken die gelijktijdig lopen en niet van elkaars uitkomsten weten: de techniek van de levering, de vindbaarheid, de inhoud en de interne structuur, de vergelijking met soortgelijke bedrijven, en de vormtaal.

Dat ze los van elkaar werken is geen organisatorisch detail. Wie de uitkomst van de vorige meting kent, gaat ernaar toe redeneren. Twee metingen die elkaar bevestigen omdat de tweede de eerste heeft gelezen, zijn samen niet meer waard dan één.

De regel die het document draagt

Eén regel gaat voor alle andere: geen cijfer zonder bron. Bij elke bevinding staat de URL, het commando of het meetinstrument, en het tijdstip. Een bevinding zonder bewijs wordt geschrapt, hoe waarschijnlijk hij ook klinkt.

Dat klinkt streng en is vooral praktisch. Een half jaar later weet niemand meer waar "ongeveer een seconde serverwachttijd" vandaan kwam, en dan is het cijfer waardeloos op precies het moment dat je het nodig hebt. Met de bron erbij kan iedereen het overdoen, wij ook.

En als iets niet te meten is, is dat het antwoord. Dan staat er niet "ongeveer", dan staat er dat het niet te meten is zonder toegang tot X, en dan wordt X aangevraagd.

Het deel waar het echt om draait: de tweede meting

Hier zit het verschil tussen een nulmeting en een indruk. Elke bevinding wordt een tweede keer gemeten, door iemand die het eerste rapport niet heeft geschreven. Alleen wat die tweede meting overleeft, gaat als feit het document in.

Wat sneuvelt, is bijna altijd het soort bevinding waar een presentatie van houdt. Een laadtijd die bij één meting spectaculair traag is en bij drie hermetingen niet terugkomt, omdat een animatie de meting af en toe laat uitschieten. Het onderliggende punt blijft dan staan, het cijfer niet.

En stelligheid sneuvelt. "Nergens een externe link" wordt bij hermeting vaak: op een deel van de pagina's niet. "Nergens een prijs" wordt: wel ergens, alleen niet in de route die een bezoeker aflegt. Een conclusie kan kloppen terwijl het getal in de marge een uitschieter blijkt. Dat verschil hoort in het document te staan.

Al die gesneuvelde bevindingen staan in het rapport, met de reden erbij en met wat er wél voor in de plaats komt. Dat is geen boetedoening. Het is het enige deel van het document waaraan je kunt zien hoe streng de rest is gemeten.

Meet wat een bezoeker krijgt, niet wat de broncode belooft

De vierde regel is de saaiste en levert het meeste op. Meet de pagina zoals hij bij een bezoeker aankomt, in een echte browser, met JavaScript uitgevoerd, en niet zoals de broncode hem belooft.

Juist daar zitten de zwaarste bevindingen, en ze zijn in de broncode onzichtbaar. Een knop die in de opmaak keurig staat, kan in de gerenderde pagina een link naar niets zijn. Wie alleen de broncode leest, ziet een rij call-to-actions. Wie klikt, ziet er misschien geen enkele die werkt.

Datzelfde geldt voor de structuur. Het komt vaker voor dan je denkt dat een groot deel van de pagina's geen enkele interne link heeft die ernaartoe wijst. Ze bestaan, ze staan in de sitemap, en er is vanaf de site zelf geen weg naartoe. Dat vind je niet door pagina's te tellen; dat vind je door voor elke pagina op te schrijven wie ernaar linkt en dan te kijken welke rij leeg blijft.

En dan het soort fout waar niemand aan denkt: een volledig Nederlandse site die zoekmachines op elke pagina vertelt dat hij Engels is.

Wat er dan onder de streep staat

De nulmeting eindigt in een tabel met de beginstanden per hoek. Serverwachttijd, paginagewicht, aantal bereikbare pagina's, aantal artikelen, posities op de zoekwoorden die ertoe doen. Lege kolommen ernaast voor de hermeting.

Wat mij steeds weer opvalt, is hoe vaak het oordeel positiever uitvalt dan het lijstje problemen doet vermoeden. Een site kan technisch stevig geleverd zijn en sneller dan zijn vergelijkingsgroep, terwijl wat eronder stuk is grotendeels dood gewicht is dat bij een nieuwe bouw vanzelf verdwijnt. Dat is een gunstig vertrekpunt, en dat hoort er net zo goed in te staan als de dode knoppen.

Over zes weken opnieuw, met dezelfde tabel

De hermeting staat op zes weken na de livegang, met exact dezelfde meetwaarden en dezelfde methode. Die tabel ligt al klaar op het moment dat de nulmeting af is, met lege kolommen.

Dat is bewust. Wie pas ná de verbouwing bedenkt wat hij gaat meten, kiest onbewust de cijfers die goed uitpakken. Dat is geen kwade wil, dat is hoe mensen werken. De enige remedie is de meetlat vastleggen voordat je weet welke kant de uitslag op valt.

Wat je hier zelf uit kunt halen

Je hebt hier geen bureau voor nodig. Drie dingen, en je hebt ze op een middag:

Leg vast waar je nu staat, vandaag, met de datum erbij. Snelheid, aantal pagina's, de zoekwoorden waarop je gevonden wordt. Ook als het ruw is: een ruwe meting van vandaag is meer waard dan een precieze van over een half jaar.

Laat iemand anders je belangrijkste bevinding nameten. Niet degene die hem vond. Je schrikt van hoeveel er bij de tweede meting anders uitvalt.

En klik zelf op je eigen knoppen. Allemaal, ook de vijfde en de negende. Dat is de goedkoopste meting die bestaat, en vaak levert hij de duurste bevinding op.