Bene in questa lezione voglio parlarti di A B test e di che tipo di variabili considerare i dati, considerare quando dobbiamo giudicare se un ebit è stato concluso o meno.

Infatti qua possiamo vedere immediatamente un esempio di A B test che abbiamo già utilizzato in precedenza.

In questo caso qua mettevamo appunto a confronto due landing page e vogliamo semplicemente vedere quale delle due avesse un tasso di conversione più alto, esattamente come in questo caso per creare una B test dobbiamo avere diversi elementi.

Il primo elemento è sicuramente valutare attraverso i dati che appunto possiamo utilizzare attraverso possiamo ottenere attraverso Google Analytics Mix Panel Othmar.

Possiamo avere tantissime idee attraverso i dati, capire esattamente in quale step del nostro funnel succede qualche cosa che non sta per formando bene appunto e cercare attraverso degli test degli esperimenti, di migliorare quella performance specifica che generalmente poi porterà più utenti a proseguire il nostro funnel e quindi più utenti a convertire e raggiungere il nostro obiettivo quando vogliamo decidere un esperimento è molto importante quindi avere una chiara visione dei dati che abbiamo a disposizione, appunto per vedere prima di tutto dov'è il problema e secondo come migliorerà appunto le performance in base al nostro test un'altra.

Cosa molto importante da fare è capire già precedentemente decidere quali statistiche andranno a rappresentare il nostro gol, il nostro il nostro successo per giudicare appunto la testa.

In questo caso specifico, il nostro gol era appunto vedere quanti utenti si scrivessero.

Magari potremmo testare una pagina con delle informazioni e li dovremmo magari giudicare l'engagement che abbiamo sulla pagina, oppure abbiamo andare a testare una pagina con molti gli utenti che lasciano la pagina e lì magari vorremmo ottimizzare appunto il numero di utenti che lasciano la pagina.

Ci sono tantissime cose diverse che possiamo ottimizzare e vedremo una lista di diversi obiettivi ed esperimenti nella prossima lezione.

Però adesso devo farti semplicemente capire che è molto importante fin dall'inizio avere un'idea chiara su cosa stiamo cercando di migliorare Bene.

Per valutare tutto questo vengono incontro noi diversi tool che possiamo utilizzare in questo caso qua Brio, che è un tool che permette appunto di creare B test, ci mette a disposizione diverse risorse gratuite.

Per esempio possiamo utilizzare una che voglio farti partire fin da subito è il nostro landing page alla lighter, in questo caso qua se andiamo qui inseriamo un nome completamente a caso e me la causa.

In questo caso qua possiamo anche mettere le nostre.

E andiamo su Leith.

In questo caso qua vado sulla mia home page di carriera acceleratore e potremo vedere esattamente che tipo di test possiamo eseguire per capire due.

Magari stiamo sbagliando.

Se vogliamo magari ottimizzare determinate cose li' io quando la mia landing page e lui semplicemente si dice spingi le levette sotto e noi partiamo con il test.

Fanno determinate domande in questo caso qua ventuno domande che dobbiamo rispondere.

Per esempio, la nostra landing page ha offerte multiple.

Che investitori possono scegliere? In questo caso? Qua io metto no E quindi spingo la levetta.

La tua landing page ottiene traffico tra ghettizzato in questo caso qua in questo momento, sì, Ora ti metterò.

Metterò molti no o si' semplicemente a caso per farti vedere che cosa succede una volta che abbiamo completato tutto questo.

Voglio soltanto far arrivare alla fine per farti vedere.

Una volta abbiamo inserito queste cose.

Che tipo di risultati possiamo ottenere? Eccolo qua.

Ora, in base a questo, in base alle nostre risposte, ci farà vedere esattamente le aree che noi possiamo cercare di migliorare.

Per esempio qua focus un gol chiaramente l'ho messo a caso.

Però abbiamo un problema qui abbiamo un problema anche in la progressività di prendere di eseguire un'azione.

Quindi noi possiamo andare in cosa possiamo migliorare? È uscita una lista? Esatto di che cosa possiamo migliorare e cosa possiamo provare a fare in questo modo qua, praticamente già degli i test che possiamo eseguire per cercare di migliorare.

Che cosa possiamo migliorare? Il fuoco sul gol, quindi ottenere più gol.

In questo caso possiamo migliorare le le azioni eseguite sulla pagina.

Insomma, possiamo avere determinati ai test già suggeriti direttamente da loro, in base semplicemente a rispondere alle domande.

Un altro tool che possiamo utilizzare in questo caso, quando in maniera più complessa è la è quanto quel determinato esperimento è significativo? No, questo qua è da eseguire principalmente una volta che abbiamo già i valori.

Perché infatti noi non possiamo eseguire un esperimento? Magari dopo venti utenti che hanno visto una pagina eventi utenti che hanno visto un'altra una pagina due gol l'altra pagina è uno solo.

Ok, perfetto.

La prima pagina in questo caso qua ci ha ottenuto risultati cento per cento milioni.

Dell'altra finito? No, dobbiamo aspettare che questi risultati siano significativi.

Per significativi dobbiamo sempre considerare il Pd Valium in questo caso qua il vivaio ci dicesse la quanto sono significativi quanto è il margine di errore che possiamo commettere? Di solito tendiamo ad avere un vivaio che dev'essere tra il cinque per cento e in questo caso qua il due percento.

Questo vuol dire che il risultato sarà significativo tra il novantacinque é il novantasette percento delle volte.

Quindi non possiamo commettere un errore.

Se quindi mille utenti scrivono qui automaticamente i risultati, che siano mille o che siano diecimila, se appunto il risultato è significativo, otterremmo gli stessi risultati nel lungo periodo e quindi questo risultato vuol dire che potremmo applicarlo nel caso che abbia vinto la variazione al resto del nostro funnel.

Facciamo un esempio Immaginate che il numero di visitatori in questo caso qua, che vadano qua dentro siano sette seicento nella pagina principale.

E invece nella variazione Settecento il numero di conversioni nel controllo in questo caso la pagina principale siano cento e il numero di conversione della variazione settecentocinquanta.

Noi spingiamo calcola che calcola la alquanto significativo e lui ci dice che é significativo che la variazione sta vincendo perché c' è un margine di errore dell' uno punto quattro per cento.

Quindi questo caso qua si.

Se noi cambiamo, riduciamo questo numero.

Mettiamo centotrenta non è più significativo perché in questo caso qua, cioè un margine di errore del diciotto percento.

Se noi mettessimo magari più visite, in questo caso possiamo metterne quattrocento.

Ri calcoliamo.

E ora è significativo perché con quattro vince.

In questo caso qua il controllo perché con quattrocento visite ha ottenuto un risultato di cento ottenuto con cento conversioni, quindi praticamente converte un utente ogni quattro, mentre invece qua convertiva un utente ogni sei o quindi in ogni caso il controllo vince.

Ci sono altri tubi.

Comunque metteremo in lista per ottenere questo tipo di performance.

Però questo tipo di Tulsa è molto importante per valutare le performance delle nostre B test.

Al tempo stesso vogliamo anche sapere quanto tempo prenderà il nostro test per arrivare appunto alla fine per avere per essere significativo.

Appunto per fare questo c'è sempre questo altro tu che troviamo sempre in questa pagina che mettero' il link é qui possiamo esattamente inserire appunto determinati dati che ci permettono di calcolare quanto tempo prenderà il nostro test.

Facciamo un esempio ci dice quant'è il conversion rate della pagina che stiamo appunto testando.

Immaginate che il nostro conversion rate sia il due percento sulla pagina quant'è il minimo miglioramento che vogliamo vedere in percentuale.

Magari noi vogliamo calcolare chiaramente.

Più piccolo è il miglioramento che vogliamo vedere.

Più dati ci serviranno e piu' tempo ci servirà appunto per vedere quel pignoramento.

Quindi, mentre noi vogliamo verificare che ci sia almeno il cento per cento di miglioramento, quindi, invece che avere due conversioni, vogliamo avere almeno quattro.

In questo modo qua possiamo spiegare questa situazione.

Quante variazioni combinazioni ci sono io in questo qua? Mettiamo due perché vogliamo sempre avere un hobby test.

In questo caso qua il numero di visitatori giornalieri al nostro ebbi teste ne possiamo mettere che siano Si, trecento visite al giorno.

Diciamo pure di si' la percentuale di visitatori inclusi nel test, in questo caso qui al cento per cento.

Lanciamo questo e ci dice esattamente che ci vorranno cinque giorni per avere dei dati significativi.

Ok, Come cambia tutto questo? Se cambiamo questi dati, metti caso che invece di un risultato del cento per cento, vogliamo avere un risultato un minimo miglioramento anche soltanto del cinque percento.

Rilanciamo questo e ci vorranno duemila e novantuno giorni.

Con questi dati, chiaramente, come possiamo avere risultati piu' in fretta? Magari possiamo dirigere il traffico su quella su quel test, magari avere mille visitatori al giorno.

Se dobbiamo.

Mi legislatori al giorno.

Ci vorranno seicento giorni.

Voglio comunque due anni.

È troppo, capisci? Possiamo giocare con questo.

Vogliamo avere un cinquanta percento di miglioramento.

O magari possiamo avere un conversion rate piu' alto.

Dipende molto da quello che stiamo testando.

Però questo tool ci permette esattamente di capire questo un'altra.

Cosa molto importante da dire è che il momento che tu hai molte, molte visite molte volte vuoi sicuramente testare su una piccola percentuale dei tuoi utenti.

Immaginati un sito web che può avere, che ne so, centomila, duecentomila visite al giorno, perché è semplice un'azienda molto grande.

Magari vogliamo includere nel test soltanto il dieci per cento degli utenti, perché in questo modo qua non andiamo a presentare un test che magari fallirà a tutti i nostri utenti.

Immaginati Google Google non presenterebbe un test a tutti.

Chi andrà a testarlo su una percentuale dei nostri utenti, che di solito è almeno del dieci percento? Clicchiamo e se abbiamo questo tipo di traffico, potremmo avere risultati in due giorni.

Se magari abbiamo un traffico minore di mille utenti al giorno, ci vorranno sedici giorni.

Ma comunque ha pure testando lo soltanto dieci per cento della nostra audience.

Sarà comunque una tempistica assolutamente sufficiente.

Assolutamente.

Che posse appunto, considerare valida e aspettare per avere questo tipo di risultati è molto importante.

Infatti, capire in maniera sicura se il nostro test avrà sarà significativo o meno e in quanto tempo dobbiamo aspettare prima di pianificarlo chiaramente? Pianificare un test che ci vorranno cinque mesi per verificarlo è qualcosa che non dovremmo fare.

Dovremmo magari cercare di testare determinati elementi diversi? Magari bene, per questa lezione.

Tutto.

Volevo appunto spiegarti che tipo di dati dobbiamo considerare quando facciamo questo tipo di test e niente per questa lezione, tutto.

Ci vediamo nella prossima