Definizione di Web Spidering e Web Crawler

Gli spider sono programmi (o script automatici) che "strisciano" attraverso il Web alla ricerca di dati. I ragni viaggiano attraverso gli URL dei siti Web e possono estrarre dati da pagine Web come indirizzi e-mail. Gli spider sono anche usati per nutrire le informazioni trovate sui siti web ai motori di ricerca.

Gli spider, che vengono anche definiti "web crawler", cercano nel Web e non tutti sono amichevoli nelle loro intenzioni.

Siti Web Spider Spider per raccogliere informazioni

Google, Yahoo! e altri motori di ricerca non sono gli unici interessati a scansionare i siti Web, così come i truffatori e gli spammer.

Spider e altri strumenti automatici vengono utilizzati dagli spammer per trovare indirizzi e-mail (su Internet questa pratica viene spesso definita "raccolta") sui siti Web e quindi utilizzarli per creare elenchi di spam.

Gli spider sono anche uno strumento utilizzato dai motori di ricerca per trovare maggiori informazioni sul tuo sito web, ma lasciato deselezionato, un sito Web senza istruzioni (o "permessi") su come eseguire la scansione del tuo sito può presentare maggiori rischi per la sicurezza delle informazioni. I ragni viaggiano seguendo i link e sono molto abili nel trovare collegamenti a database, file di programma e altre informazioni a cui potresti non volere che abbiano accesso.

I webmaster possono visualizzare i registri per vedere quali spider e altri robot hanno visitato i loro siti. Queste informazioni aiutano i webmaster a sapere chi sta indicizzando il loro sito e con quale frequenza.

Questa informazione è utile perché consente ai webmaster di mettere a punto il loro SEO e aggiornare i file robot.txt per impedire a determinati robot di eseguire la scansione del loro sito in futuro.

Suggerimenti su come proteggere il tuo sito web da crawler robot indesiderati

C'è un modo abbastanza semplice per mantenere i crawler indesiderati fuori dal tuo sito web. Anche se non sei preoccupato per gli spider dannosi che eseguono la scansione del tuo sito (l'offuscamento dell'indirizzo email non ti protegge dalla maggior parte dei crawler), devi comunque fornire ai motori di ricerca istruzioni importanti.

Tutti i siti Web devono avere un file situato nella directory radice chiamato file robots.txt. Questo file ti consente di istruire i web crawler dove vuoi che guardino alle pagine indice (a meno che non sia specificato diversamente nei metadati di una pagina specifica di essere indicizzati) se sono un motore di ricerca.

Proprio come puoi dire ai crawler ricercati in cui desideri che vengano esplorati, puoi anche dire loro dove potrebbero non andare e persino bloccare specifici crawler dal tuo intero sito web.

È importante ricordare che un file robots.txt ben congegnato avrà un enorme valore per i motori di ricerca e potrebbe anche essere un elemento chiave per migliorare le prestazioni del tuo sito Web, ma alcuni crawler robot ignoreranno comunque le tue istruzioni. Per questo motivo, è importante mantenere sempre aggiornati tutti i software, i plug-in e le app.

Articoli e informazioni correlati

A causa della prevalenza della raccolta di informazioni utilizzate a scopi nefandi (spam), nel 2003 è stata approvata una legislazione che rende illegali determinate pratiche. Queste leggi sulla protezione dei consumatori rientrano nella legge CAN-SPAM del 2003.

È importante che si prenda il tempo di leggere sulla legge CAN-SPAM se la vostra azienda si impegna in qualsiasi spedizione di massa o raccolta di informazioni.

Puoi trovare ulteriori informazioni sulle leggi anti-spam e su come gestire gli spammer e cosa non puoi fare come titolare di un'attività commerciale leggendo i seguenti articoli:

• CAN-SPAM Act 2003
• Regole del CAN-SPAM Act per il non profit
• 5 Regole CAN-SPAM I proprietari di piccole imprese devono capire