Test A/B fatti bene: ipotesi, traffico sufficiente e pazienza

L’idea è semplice: a metà dei visitatori mostri la pagina attuale, all’altra metà una variante modificata, e guardi quale porta più ordini o richieste. In pratica, fare un test A/B significa soprattutto avere disciplina: un test condotto senza metodo fa emergere facilmente un vincitore che non esiste, e l’azienda cambia il sito sulla base di un rumore di fondo.

Per un sito con molto traffico, i test sono il modo più onesto di scegliere tra due varianti. Ci occupiamo dell’intera catena, dalla scelta di ciò che vale la pena testare fino alla lettura del risultato, e diciamo fin dall’inizio quando un test non ha senso.

L’ipotesi: che cosa cambi, per chi e perché pensi che aiuti

Un buon test non comincia con «proviamo un pulsante verde». Comincia con un’osservazione ricavata dai dati e con una spiegazione. Per esempio: «nella pagina prodotto, chi visita da telefono scorre a lungo prima di trovare il costo di spedizione; se lo mostriamo accanto al prezzo, più persone aggiungeranno al carrello». L’ipotesi dice che cosa cambiamo, per chi e quale indicatore dovrebbe muoversi.

Scegliamo un solo indicatore principale (ordini, richieste, aggiunte al carrello) e alcuni di controllo, che non devono peggiorare: il valore medio dell’ordine, i resi, la velocità della pagina. Una variante che porta più ordini, ma di importo inferiore, può essere una perdita.

• L’osservazione: che cosa mostrano i dati o le registrazioni delle sessioni.
• La modifica: la descrizione esatta della variante.
• Il pubblico: tutti i visitatori o solo un segmento (mobile, nuovi clienti).
• La decisione: che cosa facciamo se la variante vince, perde o non emerge alcuna differenza.

Una sola modifica per test e come arriva al visitatore

Se la nuova variante ha un altro titolo, un’altra foto e un altro modulo e il risultato è migliore, non hai modo di sapere che cosa ha fatto la differenza. Testiamo una modifica alla volta oppure, quando mettiamo a confronto due impostazioni completamente diverse di una pagina, accettiamo di scoprire soltanto quale funziona meglio, non perché.

Dal punto di vista tecnico, la variante viene servita dal browser, tramite uno script che modifica la pagina dopo il caricamento, oppure dal server, dove il visitatore riceve direttamente la sua versione. La prima strada è rapida per testi ed elementi grafici, la seconda è adatta a prezzi e passaggi dell’ordine. Gli strumenti di test usano i cookie, quindi li colleghiamo al consenso dato nel banner, secondo quanto stabilisce il responsabile della protezione dei dati.

Quanto traffico ti serve e quanto dura un test

Prima di partire calcoliamo la dimensione del campione: quanti visitatori devono vedere ciascuna variante perché la differenza cercata si possa distinguere dal caso. Il calcolo parte dal tasso di conversione attuale e dalla differenza minima per cui varrebbe la pena fare lo sforzo. Più piccola è la differenza cercata, più visitatori servono.

La durata deriva da questo calcolo e dal traffico della pagina: il test va avanti finché non ha dati a sufficienza, arrotondando a settimane complete, perché le persone il lunedì comprano in modo diverso dal sabato. Evitiamo i periodi anomali, come le grandi promozioni o le festività.

Perché non fermi il test al primo risultato positivo

Nei primi giorni la differenza tra le varianti oscilla su e giù. Se guardi i dati ogni giorno e fermi il test quando lo strumento indica un vincitore, è facile che tu colga un momento fortunato: ogni controllo fatto con l’idea di fermarsi è una nuova occasione perché il caso sembri un effetto. Durata e campione si stabiliscono in anticipo e si rispettano.

Un test senza una differenza netta non è un fallimento: mostra che la modifica non conta quanto pensavi. E prima di credere a un buon risultato controlliamo ancora alcune cose.

• La ripartizione del traffico: se hai chiesto metà e metà e i gruppi risultano visibilmente sbilanciati, c’è un problema tecnico e il risultato non va usato.
• L’effetto novità: i clienti abituali cliccano su ciò che è nuovo solo perché è nuovo, e la differenza può svanire.
• Lo sfarfallio: la vecchia pagina che si intravede per un istante prima di quella nuova rovina l’esperienza della variante.
• I segmenti cercati a test concluso: «ha vinto solo sui tablet» è un’idea per un test futuro, non una conclusione.

Quando non hai traffico a sufficienza per un test A/B

Molti siti non raccolgono abbastanza conversioni perché un test si concluda in tempi ragionevoli. Un test che si trascina per mezzo anno non misura più niente in modo pulito: nel frattempo cambiano la stagione, i prezzi e le campagne.

Le alternative qui sotto non danno la certezza di un test, ma sono più oneste di un risultato ricavato da troppo pochi visitatori.

• Test con utenti: alcune persone del tuo pubblico ricevono un compito da svolgere sul sito e tu osservi come se la cavano.
• Correzione diretta dei problemi evidenti, senza test.
• Modifiche importanti al posto dei ritocchi: una differenza grande si vede anche con meno traffico.
• Test negli annunci e nelle email, dove le piattaforme dividono da sole il pubblico tra le varianti.

Questa è la descrizione di un progetto tipo: mostra come affrontiamo di solito un lavoro di questo genere e non presenta un progetto realizzato per un cliente specifico. Ogni progetto reale parte dalla situazione della tua azienda; fasi, tempi e prezzo si definiscono dopo il primo colloquio.