Uno dei compiti classici per qualunque programmatore a un certo punto della propria carriera, sarà quello di caricare un file CSV, all'interno di un database o in un il o quant'altro.

Quindi è estremamente importante vedere come fare questa cosa con JavaScript.

Abbiamo già preparato un file chiamato Data appunto CSV.

Troverete questo file tra le risorse per questa lezione e caricheremo appunto questo file su un database service chiamato Planet, che vedremo tra poco di cosa si tratta.

Ma prima di arrivare a questo punto inizializzato un nuovo progetto per cui andiamo nostro terminale nella stessa nella stessa cartella dove abbiamo il nostro file CSV.

Iniziamo scrivendo il pm init ancora una volta y benissimo.

A questo punto possiamo pensare di iniziare a capire come leggere un file CSV.

Facciamo subito un esempio possiamo creare un file index punto J s e provare ad esempio utilizzando le e nod a leggere l'intero file csv.

Vediamo come fare const FS uguale Rick FS e poi, ad esempio fare consta mai data uguale FS red file sync e il percorso del file, in questo caso data appunto CSV.

Se poi proviamo a fare console log mai data in questo caso potremmo vedere un insieme di carattere, un po' strani, per cui per sicurezza specifichiamo atf otto che il formato di encoding di questo file proviamo ad eseguire nod index punto j s vediamo che in un batter d'occhio abbiamo tutti i nostri dati stampati a console, ma vi pongo un problema supponiamo di avere un file di cinquecento gigabyte e dobbiamo caricare questo questi cinquecento gigabyte immemori.

Questo significa che tutte e cinquecento gigabyte dovrebbero essere caricati nella ram del nostro computer.

Tipicamente noi non abbiamo cinquecento giga di ram e quindi questa operazione non può essere fatta come si fa.

In questo caso andiamo ad utilizzare quello che si chiama stream.

Andiamo subito a vedere di cosa si tratta.

Innanzitutto al posto di usare le fs red nails inc.

Utilizzeremo una diversa utilizzeremo fs punto craig red stream per cui al posto di andare a leggere tutto il file intero leggeremo una riga per volta e poi faremo qualcosa con queste righe del file andiamo a vedere subito come specifichiamo il percorso ancora una volta del file quindi data appunto csv possiamo specificare ad esempio on quindi quando ad esempio deità ogni volta che abbiamo un dato che arriva dalla lettura del file, una callback prende data è semplicemente Colson Long Data.

Possiamo anche fare on finish.

O meglio Scusate, On Close, possiamo dire ad esempio, Console Log finisce.

Proviamo ad eseguire questo comando.

Okay, Come vedete, in questo caso abbiamo quello che si chiama buffer.

Come vedete, in questo caso abbiamo quello che si chiama buffer, per cui è semplificherà o estremamente, anche se non è così in formato binario, per cui andiamo a leggerci il file.

E come vedete, qua abbiamo sessantacinque altri mila caratteri, ventitremila caratteri, eccetera.

Quello che possiamo fare a questo punto non staremo di certo decodificare buffer, fare robe strane.

Quindi, per passare un CSV di grandi dimensioni utilizzando uno stream, andremo ad utilizzare una libreria chiamata Csw.

Parser è una libreria estremamente popolare.

Viene scaricata circa seicento settantacinque mila volte a settimana ed è una delle migliori per quanto riguarda questo tipo di operazioni.

Andiamo installarla semplicemente con RPM installato parser.

Una volta installata, possiamo utilizzarla.

Consta csw uguale.

Wir csw parser.

Perfetto.

Ora, quando apriamo uno stream di lettura verso un file, quindi leggiamo un chakra volta una riga alla volta, quello che vogliamo.

Come prima cosa, vogliamo usare un metodo chiamato e ci mettiamo dentro CSV così facendo la primissima cosa appunto che faremo non appena avremo accesso a quella riga del file sarà mandarla direttamente dentro la funzione CSV.

Una volta che la funzione che vi è stata eseguita, emetteremo dei dati e quindi on data.

Quindi non appena viene scatenato un evento chiamato data, verrà invocata questa callback.

Vediamo come funziona.

Uh, velocissimo.

Se avete notato, è molto più veloce di prima, proprio perché gli stream permettono anche di avere delle performance decisamente migliori.

Per cui, a questo punto, come vedete una cosa carina che questa libreria fa per noi è la possibilità di convertire gli header del PSV, quindi tipicamente la prima riga e in proprietà dei nostri oggetti.

Quindi i first name, last name, mail, eccetera vedete che sono sempre questi e la libreria già li assocerà ai valori di ogni singola riga successiva.

Quindi questo diventa molto conveniente per le operazioni che dovremmo fare da qui in poi.

Come promesso, però dobbiamo caricare tutto quanto su un database.

Vediamo subito come fare.

Per prima cosa andiamo su Planet Skyler Planets.

Kyle, per quanto mi riguarda, è uno dei servizi migliori per quanto riguarda i database gestiti quindi che non dobbiamo gestire ci noi, ma c' è qualcuno che lo fa al posto nostro.

È un piano gratuito e non è necessario iscriversi con una carta di credito.

Quindi creiamo un account.

Una volta creato, andiamo nella nostra dashboard e creiamo un nuovo database.

Quindi create chiamiamolo learner example.

La regione direi che quasi indifferente, diciamo.

Va bene, Nord Virginia.

Non ci interessa, Craig.

Ed eccolo qua.

In un batter d'occhio ancora avremo il nostro database pronto.

Quello che dobbiamo fare a questo punto è cliccare su Connect.

Ed eccolo qua.

Ci darà a disposizione Planet username e password per i nostri database.

In questo momento ve li posso mostrare perché poi li cancellerò alla fine della creazione del corso.

Ma mi raccomando, questi devono rimanere segreti.

Non condividete li mai con nessuno.

Copiamo il contenuto di Dot e vedete che c' è già un buon esempio per noi.

J S.

Su come utilizzare questo questo codice, ad esempio.

Quindi iniziamo proprio facendo Npl installo tende mai sequel due.

Vedremo subito di cosa si tratta ed ecco qua abbiamo installato queste due librerie.

Ora andiamo sud tende e compriamo il contenuto in un file chiamato appunto punto e N Come vi dicevo, questo file deve rimanere assolutamente segreto.

Non condividete l'ho mai con nessuno se non con i vostri colleghi.

Ma fate le modalità sicura.

Ora, per poter leggere un file Dot, abbiamo appena installato una libreria chiamata appunto Dotcom.

Lo vediamo nella nostra appunto.

J S.

Copiamo letteralmente quello che stiamo vedendo, quindi riguardo te punto confido che andrà a leggersi per noi Dotcom.

Abbiamo anche installato il modulo Maisy, quel due per cui copiamo anche questa riga di codice.

Ma se quel due e ora possiamo creare finalmente una connessione al database, come vedete il file DOT ne esporrà una proprietà chiamata database Laurel, che è esattamente quella che troviamo nel fa il punto per cui questa sarà la stringa di connessione al nostro database.

Ora torniamo un secondo su Planet Skyler dalla visuale che abbiamo della dashboard di Planet Sail.

A questo punto possiamo andare in Brant Cis.

Abbiamo mai che sempre il brano principale clicchiamo ci sopra e a questo punto possiamo provare ad andare in consolle andando in Consob possiamo scrivere qualunque comando mai sequel.

In questo caso andremo a creare una nuova tabella, Quindi per creare una nuova tabella dobbiamo scrivere il seguente comando create table users con un pd che sarà un intero first name bar char duecento cinquantacinque non è una cui particolarmente ottimizzata naturalmente last name email gender and address job title e company.

Quindi questo è esattamente quello che troviamo anche nel nostro file data appunto csv vedete, sono esattamente gli stessi identici gli stessi identici campi.

Chiudiamo sempre con un punto e virgola la nostra quirino clicchiamo invio ed ecco qua abbiamo completato la nostra prima qui a questo punto quindi possiamo andare finalmente ad inserire i dati nel database.

Torniamo sul nostro codice e a questo punto on baita non facciamo più naturalmente un console blog, ma un qualcosa di leggermente piu' complesso.

Per prima cosa cambiamo la nostra callback function in async e a questo punto possiamo fare await connection punto connection punto ex hut e qui dentro possiamo scrivere una qui se ql per cui possiamo scrivere, ad esempio in sir in too users.

A questo punto possiamo copiare la prima riga del nostro file CSV.

Ecco qua i di virgola first name last name email gender job title e company perfetto.

Ora queste sono le colonne dentro le quali andremo a inserire i nostri dati.

Naturalmente dobbiamo specificare anche quali dati vogliamo inserire.

Quindi Vesuvius.

E se qui abbiamo otto diversi diverse colonne, andremo a inserire in questo caso otto diversi places old, quindi otto punti di domanda.

Uno, due, tre, quattro, cinque, sei, sette, otto Cancelliamo l'ultima virgola.

A questo punto, come ultimo parametro dovremmo inserire i dati veri e propri.

Per farlo, però dobbiamo prendere data.

Andiamo subito a vedere di cosa si tratta.

Data.

Se facciamo consolò un'ultima volta e commentiamo momentaneamente questa parte di codice, aggiungiamo anche per sicurezza un connection close.

Chiudiamo rose, chiudiamo la connessione.

Una volta che abbiamo finito di leggere il file, in realtà la usiamo con connection end, ok? In modo che leggiamo il file, carichiamo il file sul il PSV sul database e poi chiudiamo la connessione.

Guardiamo un'ultima volta i dati, quindi proviamo a vedere come sono i dati.

Vedremo il seguente errore e questo perché ho sbagliato, ovvero messo riguardo ten punto config dopo aver messo la creazione della connessione.

Cosa significa? Che avendo messo dot punto config qua in questo preciso istante, jobs legge prima questa riga, poi quest'altra, poi quest'altra arriva qui e dice process dott.

Andrew database viorel che non esiste proprio perché viene definito da questa funzione come abbiamo visto in precedenza, quindi lo dobbiamo spostare più in alto.

Errore mio, riproviamo ed ecco qua effettivamente ora sta funzionando correttamente, quindi i dati sono i novecento, novantanove, first name, was time, eccetera.

Quindi questi sono ad esempio di first name.

Possiamo fare in questo modo cancelliamo i commenti e ora dobbiamo inserire un arredi valori.

Quindi il primo valore sarà ad esempio pd pars int di data punto i d ops scusate senza ok, il primo valore sarà parsi ntt data didi, poi avremo data appunto first name data appunto last name, appunto email appunto gender data appunto i p address data appunto job title data appunto, company.

Ecco qua.

Quindi questo valore andrà a rimpiazzare questo punto di domanda.

Questo secondo valore, il secondo punto di domanda e così via con tutti gli altri.

Per sicurezza.

Per vedere l'andamento possiamo anche una volta che abbiamo inserito i dati, fare un console log e dire ad esempio just inserted user e i suoi okay, a questo punto torniamo su planet keith, vedete che abbiamo appena creato appunto la tabella e possiamo provare a lanciare lo scritto da locale.

Che stupido lanciandolo scritta locale.

Vediamo un ultimo errore giustamente, perché Heidi non è definito, ma data appunto pd lo sarà.

Riproviamo.

Ok, abbiamo inserito i nostri dati, possiamo verificare se effettivamente esistono andando su Blanc Skyler facendo se le all from users.

Ed eccoli qua abbiamo appena inserito tutti i nostri utenti su Planet Skyler e queste è un log che appunto dopo ogni insertion ogni operazione di insert degli utenti, abbiamo fatto in modo che potessimo magari come gli utenti, è stato molto immediato.

Ma immaginate di avere cinquanta milioni di utenti.

Magari è bello vedere che abbiamo inserito una per volta, oppure possiamo dire ogni cento utenti.

Abbiamo seicento utenti, abbiamo inserito duecento e così via e intanto utilizzando la console di Planet che il vedere effettivamente che si popolano e da qui possiamo fare tutta una serie di operazioni.

Ad esempio select all Scusate se l'ex star che significa all from users where were ad esempio first name è uguale a facciamo Hiro.

Ok, in questo caso ce n'era solo una é pero'.

Vedete che possiamo interagire col database utilizzando il linguaggio se ql per fare qui sempre sempre più complesse.

Ma questo è degno di un'altra lezione