Lezione dal corso A/B Testing
Ora errore di e B testing importantissima.
Abbiamo già nominati diversi, ma andiamo a vedere esattamente numero uno.
Non lasciare un test durare abbastanza già detto in precedenza, perché è molto importante farlo durare abbastanza è errore numero due.
Fare test che producono poco impatto.
Il nostro tempo è importantissimo.
Non sprechiamo test su quello che ci aspettiamo che aumenti del tre per cento.
Il tasso di conversione, per dirne una dai tre persone del tasso di conversione andrà benissimo, ma che non aumenti di che non abbia un impatto reale.
Testare a caso senza realizzare un test parte sempre dall' osservazione dalla analizza analizzare i dati dai dati o quello che i nostri utenti fanno a decretare una un errore nei test decretare un vincitore che non lo è.
Abbiamo detto che è sempre importante fermare un test soltanto quando il raggiunge determinati requisiti, che è quello che abbiamo detto dopo fermare un test.
Un test troppo presto.
Cioè dobbiamo raggiungere almeno mille visitatori unici per variazione raggiungere almeno duecentocinquanta o più conversione in ogni variante.
Aspettare due business cycle, raggiungere la significatività statistica.
Altro errore non segmentare e analizzare in profondità.
Lo vediamo dopo.
Focalizzarci unicamente su siero abbiamo già detto il conversion rate non è garanzia di crescita.
Non considerare casi eccezionali.
Questo qua è molto importante quello che ho detto in precedenza riguardo al business cycle.
Non dimentichiamoci se noi facciamo una B test durante il Black Friday, non possiamo pensare che quel test vada bene per il resto del tutti gli altri giorni del nostro business.
E un caso eccezionale, il Black Friday come un caso eccezionale l'estate come un caso eccezionale le vacanze o se abbiamo avuto immaginiamo che abbiamo avuto un posto chiamato virale e facciamo un breve video sul nostro sito, quelli di test vivrà della viralità che ha avuto il l'altro, poi il post e di conseguenza un caso eccezionale.
Cerchiamo sempre se abbiamo il sospetto che fosse un caso eccezionale facciamo un test chiamato follow up test.
Rifacciamolo identico, rifacciamo il test identico e vediamo se veramente raggiunge lo stesso risultato.
Lee è una conferma, è un altro elemento farebbe testing sul sito poco un poco traffico.
Ora, visto che io so che me l'avreste chiesto e so che un sacco di persone hanno bisogno di fare test su un sito di poco traffico, vi ho già creato l'elemento per voi Cosa fare Se abbiamo un sito che ha poco traffico, non raggiungiamo abbastanza campione di utenti o altre cose.
Tanti elementi, primo tra tutti ignoriamo la statistica.
Lo so che è completamente controintuitivo, ma ragazzi, se c' è poco traffico, non raggiungeremo mai la significativa significatività statistica.
Di conseguenza, è inutile provare a raggiungerla.
Di conseguenza ignoriamo la statistica punto numero due testa solo per grossi cambiamenti maggiori del trenta quaranta cinquanta percento.
Solo quello che veramente ci aspettiamo che avrà un mega mega impatto come manda Ci sono due modi per farlo.
Numero uno Fai un test chiamato redirect test, che è quello che abbiamo che vedremo anche dopo che è proprio quello di testare due varianti completamente diverse.
Non cambiare il colore di un pulsante come Netflix cambia completamente la pagina.
Questo è un test che può avere un quaranta per cento di miglioramento in su o in giù.
Vediamo proprio degli elementi.
È molto importante questo altro elemento che possiamo fare.
Manda il cosa è stranissimo.
L'ho fatto pochissime volte è proprio completamente sbagliato nel concetto di B testing sbagliato manda il cento per cento del traffico a una variante almeno un business cycle.
Che cosa vuol dire questo? I nuovi test.
Inizialmente tu mandi il cinquanta per cento del traffico su una variante, il cinquanta percento sull'altra.
In questo caso, tu non mandare il cinquanta e cinquanta.
Crea una una versione di test nuova e manda il cento per cento su quella.
Lo so che una mi dirà sbagliato Luca, perché tu devi confrontare il come, come il comportamento degli utenti va sulle due varianti.
Ma se non hai traffico abbastanza, mandali e tira a caso.
Lo so che sembra sbagliato, ma è come se non hai il traffico, non hai altre soluzioni.
In certi casi, di conseguenza, dici ok.
In questa settimana o la o il mio sito normale.
E avevo il tre per cento di tasso di conversione.
Cambio completamente il processo di checkout.
Lo mando il cento percento dei miei utenti su quel processo di checkout.
E vedo che ha un quattro percento dei migliori che cambia.
E a un miglioramento del cinquanta percento.
Quindi d'altre punto del tre per cento e passa al quattro punto cinque percento.
Ora non è valido.
Ma hai visto un miglioramento.
Ora fai una B test col cinquanta e cinquanta e lascialo andare per validare.
Fai un follow-up test, ma parti con grossi cambiamenti il cento per cento ultimo flop test costantemente per verificare.
Questo qua è importante in questi casi principalmente vado stiamo leggendo un secondo alcune domande.
Ora, ragazzi, rispondo anche alle vostre domande.
Finiamo qua, faccio vedere come si fa un test.
Scusatemi se sono un po' lungo, ma un sacco di informazioni da darvi e preferisco darmele in maniera più completa possibile.
Ora.
Tipologie di test Ci sono test standard? Vi ho già nominato in precedenza molti di questi e b testing test tra due varianti di una stessa versione dei bit, abbiamo detto in precedenza e poi c' è il il redirect test.
Lo metterei prima Sting di due versioni o per cui forse completamente diversi l'esempio da quello che ci ha Netflix, due pagine completamente diverse.
Poi c' èil multivariata test o anche in tv, dove si testano due versioni diverse, ma in automatico il tool and testing va a vedere quali sono le combinazioni di test di combinazione di elementi che ti portano il maggior risultato esempio o la versione A e la versione B, la versione B a tre elementi diversi rispetto alla versione A, mentre nel predire il test mi dici semplicemente se vince lauda vince la b nel multivariata test lui cambia automaticamente in una versione ti mette versione ha soltanto un elemento versione b elemento un elemento due versione ci elemento uno, due e tre elemento di va a mischiare le combinazioni diverse ci dice esattamente quella che vince è quella che ha la versione ci é la versione a per dirne una ora tutto questo è molto importante da comprendere perché capisci che se lui vuole creare veramente tutti questi test ha bisogno di tantissimo traffico.
Di conseguenza, io consiglio di usare multi varie test soltanto dopo che ho già fatto un redirect test.
Tendenzialmente evi testo le dire test diciamo che ogni dieci e b test farei al massimo un multi varie test e come lo farei andrei a verifica.
Magari scopro che c'e' una pagina che al scopro che in un redirect test la versione nuova a che ho cambiato tutto ha il quaranta cinquanta per cento di miglioramento.
Allora doppio dico ok, ma voglio capire quali sono gli elementi che portano a quel cambiamento.
E allora faccio un multivariata test che mi prenderà molto piu' tempo a dire esattamente questo questo e questo elemento sono quelli che realmente portano risultati.
Ma ci vuole molto piu' tempo, molto più traffico.
Ah, scusatemi, due domande che rispondo subito mi chiedono che cosa intendo per follow-up test follow-up test è rifare lo stesso test nuovamente.
Molto semplice.
Ho fatto un test, lo rifaccio identico per vedere se il risultato si mantiene uguale.
Invece mi viene chiesto sarebbe interessante chiarire che cosa significa poco traffico, mille visite a settimana, mille visite al mese eh? Mi chiedono in questo caso non c' è veramente un sito che ha poco o tanto traffico? Dovete sempre valutare in base a quanto tempo vi prenderà un test in base al vostro tasso di conversione? Perché il concerto é sempre lo diamo a vedere fra poco, ma il concetto è sempre di vedere quanto traffico abbiamo, ma anche quante conversazioni abbiamo, perché se abbiamo un sito con mille ma in ogni caso non ci importa veramente sapere questo, ci importa sapere che i nostri test vengano validati in poco tempo e per vederlo basta usare quei tool e quindi se vediamo che un test che vogliamo fare prenderebbe sei mesi, capiamo che è un sito con poco traffico.
Tendenzialmente così lo metterei però tendenzialmente un sito con mille visite a settimana è un sito che è possibile fare bei vestitini.
Inizialmente secondo me un sito con poco traffico è dalle cento volte a settimana in giu', quindi praticamente molto poco, tipo trenta al giorno.
Ok questo qua ultimo scusatemi ultimo test che dopo vedremo tipologia di test personalizzato ashton test è praticamente mostri una varia, una variazione solo a utenti target.
Un esempio di questo è questo elemento qua io un tè o un un sito con il titolo che magari ha scritto ciao benvenuto ok, ciao benvenuto ora con la persona station test.
Io posso impostare che ogni volta che l'utente arriva da una determinata fonte di traffico io cambio l'elemento, quindi potrebbe essere ciao benvenuto nel caso che per tutti gli utenti nel caso che però l'utente arrivi da traffico di Milano dalla città di Milano no, solo quella tipologia di utenti vedrà ciao, benvenuto da milano, quindi è una personalizzazione di quello che l'utente fa in questo test.
Vuole capire se personalizzando l'esperienza gli utenti vadano a convertire di più o di meno rispetto alla versione non personalizzata.
Questo qua è quello che è il secondo gruppo di test meno standard.
Ci sono altre quattro tipologie che sono una band jazz band.
Its sono i test che hanno una percentuale di traffico, non cinquanta e cinquanta.
Un esempio di Bendix era quello che dicevo prima, quando tu avevi il cento percento di test di traffico su una sola variante, il test che abbiamo detto prima.
Ma io, per esempio, molte volte mi sono trovato a fare dei test con settanta per cento di traffico su una variante, il trenta percento sul controllo.
Perché lo faccio? Perché ho voglio vedere molto in fretta il risultato.
E in questo caso qua ho già avuto il mio sito attivo da molti mesi o anni.
E so che tendenzialmente il tasso magari di conversione, è sempre lo stesso.
Quindi io so già come il control.
So già che il tasso di conversione stabile nel controllo e voglio vedere molto velocemente quanto è il tasso di conversione della variante.
Una magari altro elemento existence testing molto interessante.
Rimozione di elementi di una pagina.
Che cosa vuol dire questo è Molte volte ci sono delle persone che testa un sacco di cose e dicono cavolo, ma io alla fine, aggiungendo, aggiungendo aggiungendo la mia pagina non cambia il tasso di conversione.
Allora li uno potrebbe voler fare un existence test per capire quali sono veramente gli elementi che portano.
Qual è quel venti per cento? La nostra pagina che porta l'ottanta percento del risultato perché andando rimuove é quello che non importa realmente il risultato.
Possiamo in realtà aumentare il tasso di conversione, quindi vogliamo vedere se questa descrizione cambia veramente il tasso di conversione di utenti.
Proviamo a toglierla e vediamo se l'utente senza descrizione converte di più o di meno questo quale Esiste un test.
Poi c' è interattivo, iterativo testing.
Stesso problema molti multipli testo semplicemente ho un problema che voglio superare o la mia ipotesi faccio cinque o sei test.
I tentativi ripetuti per cercare diversi chiaramente per cercare di individuare e migliorare il testo è un po' l'hai tempo experiment dicevo in precedenza ultimo innovativo testing cambi radicali per siti con poco traffico.
Questo qua è quello che abbiamo detto già in precedenza con cambi radicali redirect test e così via.
Ragazzi, sono nomi diversi.
Alla fine dei conti è sempre testing.
Non cambia veramente tanto, eh? Andiamo avanti.
Test durante il lancio.
Qui, ragazzi.
Ok, sono arrivato praticamente alla fine volevo farvi vedere tutta la parte di stadi direttamente dai b testing, ma ve lo faccio dire direttamente sul sito e per farvela vedere voglio prima arrivare ai si'.
Vi faccio vedere così prima vi do qua il riassunto in un certo senso di quello che abbiamo visto e poi vado invece direttamente sul mais e vi faccio vedere un esempio concreto e alcuni esempi di cibi test che abbiamo fatto durante il lancio.
Chi takeaway.
Non facciamo il testing per trovare una variante vincente, la facciamo per imparare efficacemente.
Abbiamo già detto imparare è molto maggiore rispetto a trovare una variante vincente.
Il nostro asset più importante in heavy testing è il tempo.
Analizziamo, ipotizziamo priority, vediamo sempre.
Ogni bit est è fonte di insegnamento.
Analizziamo lo attraverso statistica e segmenti.
Lo vediamo tra poco comunichiamo sempre al resto del team quello che abbiamo scoperto sui nostri utenti.
Questo in un certo senso, è il riassunto di quello che secondo me abbiamo visto oggi, anche se in realtà abbiamo visto molto ma molto di più.
E ora finalmente ragazzi prima del fantastico oltre ai ragazzi li metterò le slide all'interno poi di tutto quanto.
Non preoccupatevi con tutti questi link, le cose
Learnn è la piattaforma online che ti aiuta a 360 gradi a crescere nel digitale. Sviluppa competenze con oltre 220 corsi, condividi i tuoi risultati, fai networking con otre 120.000 professionisti/e e oltre 300 aziende.
Vogliamo cambiare l’Italia, una persona alla volta.
Per farlo ci proponiamo di democratizzare l’apprendimento e accelerare la crescita di persone, idee e aziende attraverso strumenti tecnologici a supporto di qualsiasi professionista.
Learnn prevede un piano totalmente gratuito (Free) che ti permette di iniziare qualsiasi corso che abbiamo su Learnn.
Per chi volesse finire i corsi, ottenere certificazioni e connettersi con professionisti e aziende, Learnn Pro permette di avere accesso illimitato a tutto questo. Il corso di Learnn Pro è 9.99 euro / mese e puoi disdire quando vuoi.
Per i team di aziende abbiamo anche un Piano Team con oltre 300 clienti aziendali.
Potrai seguire i contenuti da computer, tablet e smartphone.
Scarica l’App iOS/Android Learnn e segui i contenuti in modalità video, audio e testo.
Learnn ha un piano gratuito che ti permette di accedere all 40% di ogni corso in maniera gratuita e solo con la tua email.
Learnn offre sia un piano gratuito con accesso limitato ai contenuti, sia un piano PRO del costo di soli 9.99 euro al mese con cui potrai avere accesso a tutti i nostri contenuti senza limiti o sorprese.
Una volta completata l’iscrizione sarà possibile gestire i propri dati e disdire in qualsiasi momento e in completa autonomia.
No, non offriamo certificazioni, facciamo di meglio.
Man mano che completi corsi potrai verificare le tue competenze e condividerle sul tuo profilo LinkedIn o CV.
Inoltre abbiamo sviluppato una feature chiamata Profile attraverso il quale otterrai un link personale per mostrare in tempo reale tutti i contenuti da te completati e molto altro.
Immagine personale, username, badge, link esterni e molto altro.
Crea una vera e propria sales page dove il prodotto in vendita sono le tue competenze.
Se avessi altre domande puoi usare la live chat qui di fianco.
Per partnership compila questo form
La nostra vision è rendere l'Italia famosa nel mondo per l'esecuzione.
La missione di Learnn
è accelerare la crescita di ogni individuo rendendo accessibili conoscenza, opportunità e tecnologia per avere un impatto positivo sul mondo e sugli altri.
Tutto incluso (come Netflix), IVA inclusa, nessuna sorpresa o addebito indesiderato.
Disdici quando vuoi, in 1 click.
Scegli di migliorare ogni giorno per 12 mesi senza interruzioni scegliendo il piano annuale.
In un unico pagamento annuale
Disdici quando vuoi, in 1 click.
Con l’abbonamento otterrai:
Consuma i +200 corsi e webinar di Learnn da webapp o app iOS e Android, in formato video, audio o testo.
Con l'abbonamento a Learnn hai accesso a tutto (proprio tutto) ciò che contiene la piattaforma.
Ogni mese registriamo nuovi corsi su tutto cio di cui potresti avere bisogno nel mondo digitale.
Con l'app Learnn trasformi ogni momento di vuoto in un'occasione di apprendimento.
Scarica tutto il materiale che ti serve e utilizza i moduli riassuntivi per fissare i concetti.
Ogni settimana nuove offerte di lavoro da parte di tantissime aziende che operano nel mondo digitale.