Crawler e scraper: cosa sono, differenze e come difendersi

Ogni volta che fate una ricerca su Google o confrontate i prezzi di un volo, il risultato è opera di bot automatizzati che scandagliano il web. Due di questi bot vengono spesso confusi, ma fanno cose diverse: il crawler esplora e mappa le pagine per indicizzarle, lo scraper estrae i dati specifici da quelle pagine per riutilizzarli altrove. Il primo costruisce indici, il secondo raccoglie informazioni.

La distinzione non è solo terminologica. Entrambe le tecniche hanno un volto legittimo e uno malevolo — e per chi gestisce un sito aziendale, capire la differenza significa sapere quale traffico automatizzato è utile e quale, invece, sta rubando contenuti, sondando vulnerabilità o preparando un attacco. In questa guida vediamo cosa sono crawler e scraper, come si distinguono, e soprattutto quando diventano una minaccia per la sicurezza di un sito e come difendersi.

1. Cos’è un crawler
2. Cos’è uno scraper
3. Crawler e scraper: la differenza
4. Quando diventano una minaccia
5. I fake crawler e lo scraping malevolo
6. Come difendere il proprio sito

Cos’è un crawler

Un crawler — chiamato anche web crawler, spider o bot — è un programma che esplora sistematicamente il web seguendo i collegamenti da una pagina all’altra, per scoprirne e mapparne i contenuti. Il nome “spider” (ragno) nasce proprio da questo movimento lungo la “ragnatela” globale dei link. Il processo, detto crawling, è ciò che permette ai motori di ricerca di costruire l’indice delle pagine esistenti, per poi proporle come risultati pertinenti alle ricerche degli utenti.

Un crawler scopre le pagine in tre modi principali: seguendo i collegamenti ipertestuali a partire da pagine già note, leggendo la sitemap (l’elenco di URL che un sito mette a disposizione dei bot), oppure ricevendo l’invio manuale di una pagina, ad esempio tramite Google Search Console. Le pagine aggiornate spesso vengono rivisitate più frequentemente, segnale che il motore di ricerca usa anche per il posizionamento. I crawler legittimi dei motori di ricerca — come Googlebot — sono quindi alleati: senza di loro, un sito semplicemente non comparirebbe nei risultati.

Cos’è uno scraper

Uno scraper fa un passo diverso: non si limita a mappare le pagine, ne estrae i dati specifici per riutilizzarli. Il web scraping è la tecnica di estrazione automatizzata di contenuti da un sito — testi, prezzi, immagini, elenchi, dati di contatto — per raccoglierli in modo strutturato altrove. Anche lo scraping ha usi del tutto legittimi: un comparatore di prezzi, un aggregatore di notizie, uno strumento di ricerca di mercato lavorano così.

Il problema nasce dal fine e dal consenso. Mentre un crawler di norma vuole solo capire di cosa parla una pagina per indicizzarla, uno scraper porta via il contenuto — e quando lo fa senza autorizzazione, violando i termini d’uso del sito, entra nel territorio dell’abuso. È la stessa tecnica che, su larga scala, ha alimentato enormi fughe di dati da social network, raccogliendo informazioni pubbliche di milioni di profili per impacchettarle e rivenderle — gli stessi aggregati di dati che finiscono poi nel dark web.

Crawler e scraper: la differenza

In sintesi, la differenza sta nello scopo. Il crawler esplora e indicizza: gli interessa la mappa del web, quali pagine esistono e come sono collegate. Lo scraper estrae e raccoglie: gli interessa il contenuto delle pagine, per copiarlo e riutilizzarlo. Un crawler chiede “quali pagine ci sono qui?”, uno scraper chiede “quali dati posso portare via da questa pagina?”.

Le due attività si sovrappongono spesso nella pratica — molti strumenti prima esplorano e poi estraggono — ma la distinzione resta utile, perché segna anche il confine tra ciò che di norma è tollerato (l’indicizzazione) e ciò che può diventare illecito (l’estrazione non autorizzata di dati e contenuti).

Quando diventano una minaccia

Il traffico automatizzato non è un fenomeno marginale: i bot generano una quota enorme di tutto il traffico di internet, e una parte consistente è composta da bot dannosi. Per un sito aziendale, soprattutto un e-commerce o un portale che pubblica dati di valore, questo traffico malevolo si traduce in problemi concreti.

Il furto di contenuti è il più diretto: scraper che copiano testi, schede prodotto, listini e li ripubblicano altrove, danneggiando posizionamento e vantaggio competitivo. Il price scraping colpisce specificamente l’e-commerce: concorrenti o intermediari che monitorano in automatico i prezzi per sottoquotarli sistematicamente. Ci sono poi le conseguenze sulle prestazioni — un sito martellato da bot rallenta e consuma risorse — e gli usi più apertamente offensivi: bot che sondano un sito alla ricerca di vulnerabilità, che tentano accessi con credenziali rubate, che tentano accessi con credenziali rubate in attacchi automatizzati di credential cracking, o che fanno parte di attacchi DDoS.

I fake crawler e lo scraping malevolo

La minaccia più insidiosa è il fake crawler: un bot malevolo che si traveste da crawler legittimo — tipicamente da Googlebot — per superare le difese. Funziona proprio sfruttando la fiducia: poiché quasi nessun amministratore vuole bloccare Googlebot per timore di danneggiare la SEO, un bot che si presenta con quel nome nell’user agent passa spesso indisturbato. Dietro quella maschera può nascondersi un tentativo di mappare la struttura del sito, raccogliere dati o testare le difese prima di un attacco più ampio — una forma di ricognizione affine alle tecniche OSINT.

Gli scraper malevoli più sofisticati, inoltre, non sono più i bot rumorosi di un tempo, facili da individuare perché tutti dallo stesso indirizzo IP. Oggi distribuiscono le richieste su molti IP residenziali, imitano il comportamento di un browser reale con header HTTP credibili, e con l’aiuto dell’intelligenza artificiale diventano sempre più difficili da distinguere dal traffico umano legittimo. È una corsa tecnologica in cui riconoscere il bot falso dal visitatore vero è la sfida centrale.

Come difendere il proprio sito

La difesa parte dalla capacità di distinguere i bot buoni da quelli falsi. La verifica dei crawler legittimi — controllando che un bot che dice di essere Googlebot provenga davvero dagli intervalli di Google e non solo lo dichiari nell’user agent — è il primo filtro. A questo si affiancano misure ormai standard: il rate limiting (limitare il numero di richieste per IP in un dato tempo, per fermare il martellamento automatizzato), i sistemi di bot management che analizzano il comportamento del traffico, le sfide tipo CAPTCHA dove servono, e una configurazione attenta del file robots.txt — utile a indirizzare i bot rispettosi, ma da solo inefficace contro quelli malevoli, che semplicemente lo ignorano.

Nessuna di queste misure, presa singolarmente, è sufficiente: lo scraping malevolo e i fake crawler sfruttano proprio le configurazioni lasciate ai valori predefiniti e le difese applicate a metà. Verificare che il proprio sito sia protetto in modo coerente — e che non esponga più di quanto dovrebbe — richiede uno sguardo d’insieme sulla sua sicurezza, a partire dai criteri con cui si valuta se un sito è sicuro.

I bot malevoli sfruttano le debolezze di configurazione di un sito per rubare dati, contenuti e sondare vulnerabilità. Cyberment aiuta le imprese italiane a individuarle con il Web Vulnerability Assessment e il Web Application Penetration Test certificati ISO 27001, che analizzano siti e applicazioni web come farebbe un attaccante — traffico automatizzato compreso — per scoprire cosa è esposto e come rafforzarlo.