Come si prepara quindi il test? Nel dettaglio andiamo su un caso molto pratico di di base ci sono tre step da fare definire la tipologia Ne ho già parlato in precedenza a BST multi variation scegliamo quella che è la tipologia.

Parliamo oggi in realtà dell'abi test che, come vi ho detto, è quello più diffuso, più comune e più alto a più alto impatto sul sul prodotto.

Quindi parliamo di A B Test.

Uno degli step principali è quello di creare fin da subito quelle che sono quella che è la tua Word o le tue Word a seconda degli strumenti che utilizzi.

Affinché nel momento in cui il test viene lanciato, tu avrai già possibilità di monitorare e osservare.

Nel caso di Senis, noi utilizziamo sostanzialmente tre strumenti principali.

Um, come ho detto prima Flex Smith è un tool tecnologico per la parte di gestione di F e B test ed è un tool.

Abbiamo un mix panel è un tool di King di trekking analytics che si chiama c'è.

Anche la versione free in realtà quindi, è adatta a la maggior parte delle esigenze.

Ovviamente ad alti volumi di traffico diventa a pagamento, ma ci sono affiliate program per le startup.

Quindi ve lo consiglio um un'alternativa a mix panel si chiama Snow, che è un prodotto più tecnologico in realtà, quindi magari è più adatto a una realtà corporate.

E poi utilizziamo infine Trevor, che è un tool di days che fa sostanzialmente diversamente da analytic da mix panel, fa la parte di di analisi su database, quindi su dati relazionali.

Um, non sono solo questi.

Utilizziamo anche g, utilizziamo G, G, T, m, Analytics, eccetera, eccetera.

Qui veramente c'è una varietà di strumenti possibili.

Però l'importante è che nel momento in cui definisci quali sono gli obiettivi che p della tua tu abbia già in Place e pronte le Ford per poter osservare questi dati, perché è importante questa cosa e perché altrimenti arrivi sempre a rincorrere l'analisi successiva.

Quindi è in realtà è importante avercela già pronta il giorno stesso.

E infine parte che io definisco della preparazione è definire i momenti in cui tu andrai a osservare l'andamento del test.

Questo andamento può essere quotidiano nel caso di una diciamo alto valore economico e alto valore di investimento per cui ti interessa vedere in tempi molto brevi.

Può essere settimanale, ci possono essere dei test e non è sporadico che succeda che sono sostanzialmente test, che puoi guardare anche una volta ogni due settimane, perché non avrai dei dati e perché magari il tuo k p I.

Che stai osservando? Ricordatevi che i k P i hanno uno span che va dalla wireless iniziale è il primo valore alle l T V, che magari, come nel caso di saren, si misura in più di più di una settimana, quindi è molto lontano dal tempo.

Quindi devi dare tempo ai dati e agli utenti di di essere valorizzati.

Ed è quello che facciamo in strage, per esempio, come abbiamo già visto anche nelle nei moduli precedenti abbiamo già ripetuto più volte è quello di avere dei momenti fissi in cui vengono osservati tutti i test.

Però abbiamo anche dei momenti in cui quel team, quella di fatto, si sofferma magari una volta a settimana un quarto d'ora mezz'ora in cui si validano l'ot che sta andando um è la l'altra faccia di questa analisi, ovviamente è che oggi abbiamo sempre parlato di un test che viene fatto, si arriva alla fine e si ha il risultato in realtà il funzionamento di questo approccio di testi e di N B p è che osservo l'andamento.

Traggo dei risultati.

Magari sono dei risultati parziali, ma posso già capire che c'è qualcosa che o sta funzionando molto bene o sta funzionando molto male.

E quindi posso decidere di Dre il test, reiterare sulla versione del test oppure fare dei miglioramenti.

Non è raro come evento il fatto che si dica io pensavo che questo test dovesse durare due settimane dopo una settimana ho già dati sufficienti a per proseguire e vedremo dopo un esempio in realtà proprio di analisi di un test con mix panel o viceversa, io credevo di poter avere dei risultati oggettivi e facili per poter analizzare e andare avanti.

In realtà magari quei dati non sono sufficienti e devi aspettare un'ulteriore settimana.

Il fatto di continuare a reiterare è proprio questo processo di discovery delivery discovery delivery che in un team di prodotto fa la vera differenza e per cui non soffermarsi e dire Okay, la C T a non funzionava.

Va bene così? No, la C T a non funzionava, magari è troppo lunga, magari è troppo breve.

Allora posso fare delle tipologie di test? Nulla ti vieta peraltro di modificare il test che stai facendo.

Quindi sei partito con la b test fai un variation, magari anche quattro varianti o viceversa.

Un esempio di analisi invece proprio di del test oggi vi porto l'esempio di di mix panne sostanzialmente che è il nostro tool di data, quindi del comportamento degli utenti volutamente, come potete capire, anonimizzati è un test a b.

L ho già ripetuto è quello di Senis no.

Questo test, come vedete, ha tantissime osservazioni.

Sono quelle che vediamo in alto come numeri.

Quindi abbiamo sostanzialmente venticinquemila osservazioni di variant e ventun mila osservazioni di controllo sono un po' squilibrate.

In questo caso, probabilmente perché le l'osserva a livello temporale è stata diversa.

O forse aveva già switch variant, in realtà quindi acceso al cento per cento però ci dice che statisticamente è rilevante perché son tantissime osservazioni e quello che è importante è che in questo caso sicuramente quello che noi abbiamo imparato è che pensavamo di metterci molto più tempo a raccogliere i dati e in realtà subito dopo una settimana o due settimane.

Quello che abbiamo visto è che tutti gli step del fanne e in questo caso siamo andati a prendere dei k p i molto lontani tra di loro.

In realtà ci dicevano che fin da subito variant era vincente, era vincente sul primo step era vincente, sul secondo era vincente.

Sul terzo vedete che sostanzialmente andiamo a guadagnare dai tre punti percentuali ai quindici punti percentuali alla fine e il drop che viene visualizzato è rispetto allo step precedente.

Quindi è veramente tanto.

Questo fa sì che nella sua osservazione generale questo test con mix panne sostanzialmente ci ha portato un quattro punto cinque punti percentuali in più, che è un dato che normalmente non si visualizza e questo mi fa anche dubitare in realtà in parte dello dello screenshot.

Ma spesso e volentieri quello che si verifica è magari uno scostamento di un punto, un punto e mezzo mezzo punto percentuale che però su un funnel ampio.

Quindi quando noi prendiamo tutti i k p i dal primo all'ultimo è una cosa effettivamente molto rilevante perché quel mezzo punto percentuale o quel punto percentuale all'inizio del funnel fa crescere i numeri esponenzialmente.

Prendete l'uno l'uno per cento di venticinquemila potete capire a che tipo quante arrivano in più.

Paradossalmente noi facciamo, utilizziamo questo, utilizziamo altri strumenti come quello che è per esempio di Trevor che vi dicevo prima, che è uno strumento che va ad analizzare i dati che noi um stori e salviamo sul database e ha degli altri output.

Il mio consiglio vero è quello di utilizzare provare a utilizzare mix panel perché ha un'implementazione facilissima.

Si può integrare con G T M, quindi non ha bisogno di complessità aggiuntiva da parte o tecnologici, è free e ti permette in pochissimo tempo di creare delle di questo tipo, um sono di sono di di flow, ci sono tantissime modalità.