Adesso andremo a vedere degli esempi di Robotics.

Ti andremo ad analizzare quali sono le regole contenute all'interno di esso.

Quello che vedete qui è Robotics ti di naike punto com mike punto com.

Come vedete, Robotics ti è accessibile da mike punto com Slash robot spunto Tix ti e come vedete al suo interno ha delle regole diverse regole.

Innanzitutto, abbiamo questa prima frase Questa prima riga è una riga di commento dove loro hanno fatto questo Questa personalizzazione del Robotics che possiamo vedere perché c'e' scritto just right prima vera regola che vediamo all'interno di questo Robotics è quella dello user agent.

In questo caso stiamo dicendo un asterisco.

Cosa vuol dire l'asterisco? Vuol dire tutti quanti i motori di ricerca.

Quindi a tutti quanti i motori di ricerca.

Noi stiamo andando ad assegnare le regole che vediamo sotto, ovvero questa serie di design.

Laura, vediamo che ci sono diverse regole.

Ovviamente ognuna di queste regole ha un significato.

Nella prima regola vediamo un asterisco Slash member Slash Inbox l'asterisco Cosa vuol dire l'asterisco? Vuol dire tutto ciò che è contenuto all'interno di quella cartella, quindi in cui stiamo dicendo che tutto ciò che è sotto il dominio che poi finisce con Member Slash Inbox deve essere bloccato.

Perché hanno scelto di fare questa regola? Probabilmente perché qui lo capiamo un pochino dalla struttura, dal nome delle cartelle, dal nome della member Inbox.

Quindi sicuramente è una parte privata del nostro sito, è una parte che hanno accesso solamente gli utenti che magari hanno fatto una un accesso tramite lo e.

Quindi i motori di ricerca non devono accedere a questa parte del nostro sito perché è una parte non indicizzato abile è una parte privata.

Se i motori se i motori di discesa, se i motori di ricerca avessero accesso a questa parte del nostro sito, perderebbero solamente del tempo.

Andando a andremo a sprecare il nostro budget, vediamo più sotto che ci sono delle regole simili.

Poi vediamo che c' è un design lau slash asterisco punto pdf Dollaro che cos'è Che vuol dire questa regola? Questa regola va a bloccare tutti quanti file PDF, ovvero tutti quanti i file che finiscono con punto pdf.

Perché hanno scelto questa regola? Probabilmente il PDF un file che non vogliono che sia presente all'interno dei motori di ricerca.

Vediamo invece più sotto abbiamo un'altra regola abbiamo user agent baidu spider, quindi vuol dire che queste sono tutte quante regole che fanno riferimento al motore di ricerca baidu c'è un motore di ricerca per il mercato cinese.

Infatti quelle che andiamo a vedere sotto sono tutte quante regole che fanno riferimento a una parte del sito denominata C in questa parte del sito cn sicuramente sta per Cina, quindi la parte cinese del sito della Nike.

Vediamo che in questa parte del del Robotics stiamo dando delle indicazioni al al motore di ricerca Baidu di accedere e di crollare i contenuti del sito presenti al di sotto della cartella cn e di bloccare altre tipologie di contenuto.

Vedete qui gli stiamo bloccando tutto quanto il sito perché abbiamo un thesaurus slash, mentre gli gli diamo accesso solamente alle cartelle che iniziano con cn che sta per cina e vediamo sotto ci sono tanti altri esempi, poi possiamo andare ad analizzare il robot txt di tripadvisor anche qui come vedete ci sono tantissime regole perché comunque sia come sappiamo, tripadvisor è un sito molto grande, no? Quindi avrà tantissime cartelle, avrà tantissimi contenuti quello che loro vogliono fare è rendere accessibili i contenuti ai motori di ricerca, ma solamente quelli che hanno un valore solamente quelli che poi devono finire sui motori di ricerca.

É infatti vediamo qui che ci sono tantissime cartelle che vengono bloccate, cioè la parte che contiene tutte quante le said map, quindi i file che contengono le che devono essere indicizzate e che vogliamo che vengano indicizzate sui motori di ricerca.

E poi divertente anche qui c'è una prima parte in cui dedicata a chi fa seo, perché loro scrivono qui in questa frase che robotics ti principalmente viene vista appunto da persone dai motori di ricerca.

Se viene visto da da delle persone viene visto dalle persone che fanno seo e quindi qui hanno messo un commento, una frase che va a dire a sei arrivato fino a qui, quindi vuol dire che sia curioso vuol dire che vuoi scoprire com'è fatto il nostro robotics ti e quindi è la persona che sei, la persona che stiamo cercando e come vedete ce le mail per mandare, per fare un'applicazione al l'email per mandare il proprio curriculum e infine possiamo vedere il file robots dealers punto com c'è un file robots molto più semplice perché ovviamente è un sito un pochino piu' piccolo che però anche qui ha delle regole di user agent.

Quindi stiamo dicendo a tutti quanti gli user agent di andare a navigare il nostro sito gli stiamo bloccando del contenuto.

Questa è una cartella che solitamente viene è bloccata perché fa parte di WordPress.

E poi abbiamo delle regole di da di sala o quindi andiamo a bloccare alcune directory di WordPress che non devono, che non devono essere navigate dai motori di ricerca.

E infine viene elencata la nostra sai ma punto xml Quelli che abbiamo visto sono semplicemente tre esempi pero'.

Ovviamente su ogni sito dovrebbe esserci un Robotics che contiene delle regole, quindi sicuramente adesso è tutte quante i mezzi per andare a cercare il robot txt dei vari siti all'interno del web, capire come sono fatti analizzarli, capire qual è la strategia che stanno portando avanti e poi capire qual è la strategia che devi applicare per creare Robotics più ottimizzato possibile per il tuo sito