Lezione dal corso A/B Testing
Ora siamo arrivati finalmente la parte di implementare.
Ci sono tantissimi, tantissimi tool che possiamo utilizzare nel momento in cui vogliamo valutare l'implementazione di questi test.
Io personalmente quello che uso é quello che consiglio di dare a tutti voi.
Quando una parte da zero e Google optimism il terzo da sinistra, quello in rosso Lo so, é è super semplice.
Dopo vedremo un esempio di bit direttamente Ugolotti Miss.
Un altro tour che ho utilizzato evita oblio è Tula pagamento c'è anche una versione iOS.
Mi ricordo bene, è più avanzato, ci sta.
Ma veramente Google Maps per quello che io faccio è abbastanza.
Un altro tour che ha usato è quello di Hassan.
Tuor anche quello lì.
Quello lì è proprio corporate Proprio B.
Toby.
Non onestamente.
Non credo che serva un altro tour che molte aziende usano.
È optimism.
Ottimo.
Ma veramente Ragazzi, secondo me, tendenzialmente, per quello che uno deve fare all'inizio Google Optimism è più che sufficiente.
Poi ognuno valuta è gratis.
Non cio.
Un affiliazione in nessun modo, come al solito.
Ora, andando avanti volevo far vedere un esempio pratico di proprio come si implementa.
Ma abbiamo detto che ce lo teniamo per la fine, quindi vado avanti e poi vado direttamente sul sulle b test proprio concreto per farvi vedere tutte queste cose qua.
Ora alcune considerazioni che dobbiamo fare secondo me molto importanti prima in assoluto e anche qua ve lo metto più complicato di quello che realmente è statistica i veri veri bei dexter.
I veri gruppi che fanno i casting sono praticamente degli statisti.
Ci sono veramente degli elementi di statistica importantissimi da conoscere.
Se uno vuole farlo ad vuol farlo per lavoro di altissimo livello che devo essere completamente onesto.
Non le so neanch'io così tanto rispetto a qualcuno che fa tutto il giorno solo non lo so nemmeno io, ma vi ho messo qui un articolo super interessante che parla in maniera molto semplice di questi vari elementi io l'elemento tendenzialmente più importante che utilizzo e che vado è la parte di sampling, cioè la parte di campione, il campione significativo che dobbiamo avere la parte di statistica significa che vedremo fra pochissimo il concetto di kivu e un altro che probabilmente è molto importante e tutta la parte di segmenti thing che vedremo anche qua fra poco.
Ma a parte questi ce ne sono tantissimi altri super importanti, che però io non ho mai usato.
Anche magari, se mi sbagliavo, però vi metto comunque il link perché secondo me può essere utile ora concetto super base che è importante che tutti noi sappiamo.
Statistica significance che cos'è questo significa significatività statistica indica la probabilità che la differenza o relazione osservata tra variazioni non sia dovuta al caso.
Cosa vuol dire? Vuol dire che se io faccio partire un di testa e scopro nei primi due, ora che ho due giorni che la versione B sta vincendo questo indice che mi dice se abbiamo raggiunto abbastanza significatività per poter dire che quel pulsante o quella quel che la versione b sta vincendo non per caso, ma perché vincerà sempre e questo è molto importante perché se io lo calcolo dopo dieci utenti e dico già la versione b ha vinto la implement o magari io devo e devo essere sicuro che quello stesso risultato continui che ne entrino dieci che ne entrino cento che ne entrino dieci milioni di utenti.
Il risultato è significativo quando non importa quanti utenti entrano quella variazione osservata si replicherà in maniera identica per tutti gli utenti.
Questo è quello che la significatività statistica ed è molto importante essere aspettare di raggiungerla per decretare se una B test è valido oppure no.
Ora vi voglio far vedere un esempio perché è molto importante.
Il novantanove percento dei cracker pensa che la significa statistica sia sufficiente per decretare se una B test è vincente oppure no.
È sbagliato e vi faccio vedere un esempio.
Questo è il tool.
Vi faccio vedere piu' grande Google optimize e questo qua è in un certo senso, un grafico di conversione dove possiamo vedere proprio la differenza tra Original.
Cioè, in realtà in questo caso qua l'elemento qua sopra c'è la variante uno contro Scusatemi variante uno che in questo caso qua c'è scritto.
No, io avevo fatto un test icone contro l'unico, né ora spero che si veda.
Fatemi sapere se non si vede però il concetto principale.
Forse ve lo posso ingrandire un ottimo.
Vediamo.
No, non posso L'elemento principale.
Spero che si veda.
È la linea blu.
La linea blu é la linea tratteggiata.
Vede? Linea tratteggiata.
La linea tratteggiata è l'originale, cioè il control E vedete che va Forse lo faccio vedere da qua.
Magari Vedete, mio Mouse, spero che si veda il mio mouse.
Vedete qua Elemento, ci abbiamo la versione control contro la variante uno.
Il tratteggiata è il controllo ed è il tasso di conversione del controllo.
Quindi qua dice il cinquanta qua e là, il cinquanta per cento di tasso di conversione e vedete che il controllo va dritto così.
La linea blu invece è il sette maggio.
La linea blu è il tasso di conversione della variante uno.
Quindi cosa succede se io avessi fermato dopo un giorno? Il sette maggio vinceva, vinceva la variante uno e vedete come si sta muovendo l'otto maggio I raggi era praticamente a metà.
Erano praticamente uguali.
Il nove maggio la versione la variante uno sta perdendo il dieci maggio sta perdendo di poco l'undici maggio sono pari le B test in questo caso, che in questa frazione di tempo che ho considerato cinque giorni.
Se vediamo c' è un tasso di conversione che praticamente è identico oppure molto, ma molto vicino.
Ma in generale stava vincendo il controllo, ma la probabilità di vincere è cinquanta e cinquanta.
Praticamente il tool.
Si sta dicendo che non c' è veramente un vincitore.
Non c' è un vincitore qua.
Perché? Perché su in questo test in questa frazione di tempo al livello di significatività statistica, non abbiamo abbastanza differenza per decretare un vincitore.
Se io però mi fossi fermato dopo un giorno, avrei detto che aveva vinto la variante uno.
Se mi fossi fermato dopo due giorni, avrei detto che aveva vinto la il controllo e così via.
Dobbiamo aspettare.
Dobbiamo dare tempo al test di arrivare alla fine.
E qui ci sono due scusatemi.
Avanti.
Ci sono tre requisiti importantissimi per comprendere quando fermare un ebit est numero uno il requisito numero uno Il campione deve essere abbastanza grande e abbiamo messo prima il tool di conversione Excel che possiamo usare per valutare il campione o dobbiamo raggiungere dalle duecentocinquanta alle trecento conversioni per variante per va variante.
Che cosa vuol dire? Vuol dire che se stiamo facendo un test sul tasso di conversione sul numero di acquisti un e-commerce dobbiamo raggiungere almeno seicento conversioni e almeno seicento confessioni per dire é almeno duecentocinquanta conversioni in una variante.
Duecento qua cinquanta conversioni nell'altra.
Ora qua un sacco di persone potrebbero dire al mio commercio non ha almeno seicento conversioni.
Ci metto un anno a raggiungerlo.
Bene, vuol dire che non devi fare questo tipo di test e fra poco vediamo che cosa possiamo fare.
Se non possiamo fare tutto questo ora, andando avanti.
Il secondo requisito importante per far fermare un test è la lunghezza minima del test, che deve essere almeno di due cicli del business.
Che cosa vuol dire tutto questo? Che se io avessi fermato il test, dove Scusatemi qui dopo dopo cinque giorni avrei sbagliato.
Perché io devo lasciare almeno almeno almeno due cicli di business per poter fermare il test ora che cos'è un ciclo di business.
Un ciclo di business detto anche Business Cycle Enel Novantanove No.
Novantacinque percento delle volte una settimana è, in un certo senso la frazione delle in cui un business puo' osservare delle variazioni nel proprio business.
Perché è importante questo velo messo qua sotto? Ve lo faccio vedere.
Aspettate che vanno di qua.
Eccolo qua.
Vedete tutto questo? Ora che posso vedere la faccina? Vi faccio vedere.
Bene.
Vedete queste curve, Queste curve, questi qua sono i giorni della settimana.
Questi qua sono i weekend.
Questo business, questo account Google Analytics Vedete che a queste curve qua e questo qua è il traffico.
Che cosa vuol dire tutto questo? Vuol dire che questo business ha dei picchi di traffico durante i giorni della settimana e i giorni del week-end a una diminuzione di traffico settimana week-end settimana, week settimana week-end e così via.
Ora, perché è importante sapere questo? Perché se noi facessimo un test e lo facessimo durare cinque giorni e magari è a cavallo tra week-end e giorni alla settimana, io in realtà ho un business che sta fluttuando.
Non ho un campione certo di utenti che hanno delle caratteristiche simili e che si comportano in maniera simile.
Se noi prendiamo due business cycle due settimane.
In questo caso abbiamo un campione di utenti ripetuto almeno due volte che si comportano in una maniera medesima.
Questo è la ragione per cui tendenzialmente non dovremmo mai fare un test, Mike.
Allora regola numero uno mai fermare un test prima di una settimana.
Una settimana è il minimo per qualsiasi business.
Regola numero due tendenzialmente.
Se possiamo, aspettiamo almeno due settimane che capiamo che se sappiamo che dobbiamo aspettare almeno due settimane, capiremo che dovremmo focalizzarci veramente tanto sulla scelta del del test.
Perché aspettare due settimane al giorno d'oggi è una fatica incredibile, lo so, ma dobbiamo concentrarci veramente su scegliere il giusto test e rispettare le tempistiche.
Anche se il nostro sito ha un traffico come Google di milioni, anche Google dovrebbe tendenzialmente aspettare almeno un business cycle, perché potresti testarlo nel momento sbagliato, avere degli elementi completamente discordanti e che vanno a creare un un falso negativo o un falso positivo.
Che cosa vuol dire un falso che magari vince il test, ma in realtà è sbagliato perché in realtà è il momento in cui gli utenti si comportavano in quel modo, perché era Black Friday o non era un momento comune ed è molto ma molto importante conoscere questi elementi.
Quindi tendenzialmente due Business cycle ultimo elemento ultimo significa significatività statistica tra il novantacinque, il novantasette punto cinque per cento almeno ce lo dice ragazzi, ce lo dice il tool.
Quello che succederà per moltissimi di voi che farete partire il test Google ottima sgradevoli o il tuo che volete? A un certo punto Google vi dirà abbiamo raggiunto il cento per cento, siamo sicuri al cento per cento.
Non fermate il test finché non si raggiungono gli altri due requisiti.
È veramente importante, perché se lo fate Google a volte lo so che sembra strano, ma vi dice che al cento per cento è sicuro l'ho riguardato la settimana dopo e non è più sicuro.
Perché? Perché la significate significatività statistica non è l'unico elemento da considerare quando si deve fermare un test.
Ragazzi, vi sto parlando per fare le cose in maniera perfetta.
Non tutti lo fanno in maniera perfetta.
Anch'io mi sono trovato e lo vedremo dopo.
A non farlo in maniera perfetta ci sono le circostanze delle attenuanti.
Ma sapere che cosa è giusto e cosa non è giusto ci insegna cosa poter fare rispetto a cosa non poter fare o se vogliamo cambiarlo.
Come cambiare nella maniera più corretta.
Andiamo avanti anche quando il test sembra finito.
Segmentata anche qua, ragazzi, dovrete vedere lo schermo.
Ve lo faccio vedere fra poco questo qua super interessante ve lo faccio vedere fra due secondi finiamo.
Finisco velocemente questo slide, così dopo vado direttamente dall'altra parte Step cinque comunica i risultati.
Ripeti questo qua è la base del hai tempo sperimenta Ashton fare costantemente questo tipo di test, farli molto velocemente.
E molto importante che abbia messo un template per come io comunico al mio team i risultati di ogni test.
Ricordiamoci sempre se ogni test è una fonte di apprendimento.
Dovremmo sempre condividere l'apprendimento a tutto il team.
Non dico di condividere ogni test, ma avere sempre un database, un un luogo dove si possono vedere quali test svolti, i fatti, i quali risorse hanno ottenuto è importantissimo.
È importante per due ragioni.
Numero uno Questi test ci permettono di creare una specie di identikit dei nostri utenti.
E una specie di come l'hanno chiamato come si chiama.
Non è una persona, ma è usare l'ebit.
Fa parte degli USA, il numero uno e numero due.
Se un nuovo membro del team vuole fare dei test, non può non sapere quale testo di fatti in precedenza.
Altrimenti restiamo a casa.
Cosa? Multiple volte e non andiamo a imparare niente.
Io qui ho creato un template titolo Io metto, io metto gol variazione il risultato Esempio gol conversion rate.
In questo scusami, siti hard.
Volevo mettere comunque clicks, quindi in questo caso qua avrei messo quello li'.
Potrebbe essere review.
Potrebbe essere tante cose diverse.
È altro elemento.
Metto che cosa è stato fatto nel test nel titolo C T a D.
Quindi pulsante di colore blu contro pulsante di colore rosso.
Non so neanche perché ha scritto blu in inglese.
Però vabbè, avete capito e l'ultimo il tasso di conversione positivo negativo che ha avuto il test.
Quindi metto più quindici percento se il colore rosso in questo caso qua ha avuto un quindici percento e metto meno quindici percento nel caso invece che abbia vinto il colore blu e quindi l'ebit abbia perso.
Questo è il titolo poi descrizione Metto cambiando il colpo proprio scrivo cambia, cioè l'ipotesi.
Incomincio con l'ipotesi di descrizione.
Cambiando il colore del pulsante di acquisto ci aspettiamo un incremento di almeno dieci percento del click su Reddit.
Elemento numero uno, elemento numero due.
Metto il risultato effettivo che ha avuto il clic su Rai è aumentato del quindici percento, perché è molto importante dire con quale ipotesi siamo partiti, quali è stato risolto, che abbiamo notato e quali osservazioni vogliamo aggiungere.
Il risultato è abbastanza omogeneo e non ci sono segmenti particolari.
Ora vi spiego la questione dei segmenti.
Appena finiamo le slide
Learnn è la piattaforma online che ti aiuta a 360 gradi a crescere nel digitale. Sviluppa competenze con oltre 220 corsi, condividi i tuoi risultati, fai networking con otre 120.000 professionisti/e e oltre 300 aziende.
Vogliamo cambiare l’Italia, una persona alla volta.
Per farlo ci proponiamo di democratizzare l’apprendimento e accelerare la crescita di persone, idee e aziende attraverso strumenti tecnologici a supporto di qualsiasi professionista.
Learnn prevede un piano totalmente gratuito (Free) che ti permette di iniziare qualsiasi corso che abbiamo su Learnn.
Per chi volesse finire i corsi, ottenere certificazioni e connettersi con professionisti e aziende, Learnn Pro permette di avere accesso illimitato a tutto questo. Il corso di Learnn Pro è 9.99 euro / mese e puoi disdire quando vuoi.
Per i team di aziende abbiamo anche un Piano Team con oltre 300 clienti aziendali.
Potrai seguire i contenuti da computer, tablet e smartphone.
Scarica l’App iOS/Android Learnn e segui i contenuti in modalità video, audio e testo.
Learnn ha un piano gratuito che ti permette di accedere all 40% di ogni corso in maniera gratuita e solo con la tua email.
Learnn offre sia un piano gratuito con accesso limitato ai contenuti, sia un piano PRO del costo di soli 9.99 euro al mese con cui potrai avere accesso a tutti i nostri contenuti senza limiti o sorprese.
Una volta completata l’iscrizione sarà possibile gestire i propri dati e disdire in qualsiasi momento e in completa autonomia.
No, non offriamo certificazioni, facciamo di meglio.
Man mano che completi corsi potrai verificare le tue competenze e condividerle sul tuo profilo LinkedIn o CV.
Inoltre abbiamo sviluppato una feature chiamata Profile attraverso il quale otterrai un link personale per mostrare in tempo reale tutti i contenuti da te completati e molto altro.
Immagine personale, username, badge, link esterni e molto altro.
Crea una vera e propria sales page dove il prodotto in vendita sono le tue competenze.
Se avessi altre domande puoi usare la live chat qui di fianco.
Per partnership compila questo form
La nostra vision è rendere l'Italia famosa nel mondo per l'esecuzione.
La missione di Learnn
è accelerare la crescita di ogni individuo rendendo accessibili conoscenza, opportunità e tecnologia per avere un impatto positivo sul mondo e sugli altri.
Tutto incluso (come Netflix), IVA inclusa, nessuna sorpresa o addebito indesiderato.
Disdici quando vuoi, in 1 click.
Scegli di migliorare ogni giorno per 12 mesi senza interruzioni scegliendo il piano annuale.
In un unico pagamento annuale
Disdici quando vuoi, in 1 click.
Con l’abbonamento otterrai:
Consuma i +200 corsi e webinar di Learnn da webapp o app iOS e Android, in formato video, audio o testo.
Con l'abbonamento a Learnn hai accesso a tutto (proprio tutto) ciò che contiene la piattaforma.
Ogni mese registriamo nuovi corsi su tutto cio di cui potresti avere bisogno nel mondo digitale.
Con l'app Learnn trasformi ogni momento di vuoto in un'occasione di apprendimento.
Scarica tutto il materiale che ti serve e utilizza i moduli riassuntivi per fissare i concetti.
Ogni settimana nuove offerte di lavoro da parte di tantissime aziende che operano nel mondo digitale.