back to top

Cloudflare: stop allo scraping per addestrare le AI

Lo scraping dei siti Web non è necessariamente un’attività illegale, rappresenta però un danno quando i dati raccolti dai bot vengono utilizzati senza alcun vantaggio per gli autori. Questa pratica viene utilizzata frequentemente anche per addestrare i modelli generativi con informazioni disponibili pubblicamente e senza alcun compenso per chi gestisce le pagine coinvolte.

Si tratta sostanzialmente di un’attività di parsing. I bot scansionano automaticamente la rete alla ricerca di informazioni, quando analizzano un sito Web ne identificano i contenuti principali e li raccolgono. Questi ultimi vengono poi elaborati e archiviati all’interno di dataset spesso molto voluminosi che possono essere impiegati, ad esempio, in progetti di AI e Machine Learning.

Una novità a questo proposito arriva da Cloudflare, tra i maggiori provider mondiali di Cloud Services, che ha sviluppato una funzionalità gratuita con la quale sarà possibile bloccare lo scraping da parte dei bot sul proprio sito Web. Una volta abilitata questa feature il riconoscimento dei bot avviene automaticamente sulla base di un modello predefinito.

Il training di quest’ultimo è stato effettuato tenendo conto di alcuni comportamenti tipici dei bot che tentano di effettuare procedure di scraping. Essi infatti tentano di imitare il comportamento degli esseri umani per non essere rilevati, ad esempio simulando la navigazione da un comune browser Internet o randomizzando il numero di accessi.

Tale strumento è stato concepito per bloccare tutti quei bot che ignorano le direttive indicate nei file robots.txt e quindi non rispettano la volontà di chi gestisce un sito Web. L’azienda fornisce inoltre un tool appositamente dedicato alle segnalazioni di bot e crawler basati sulle AI che permetteranno di migliorare ulteriormente il modello anti-scraping.

Pubblicità
Claudio Garau
Claudio Garau
Web developer, programmatore, Database Administrator, Linux Admin, docente e copywriter specializzato in contenuti sulle tecnologie orientate a Web, mobile, Cybersecurity e Digital Marketing per sviluppatori, PA e imprese.

Leggi anche...

PlayStation 5 portatile in arrivo?

Sony starebbe lavorando ad un nuovo dispositivo portatile che...

WhatsApp: nuove funzionalità contro lo spam

WhatsApp sta introducendo nuove funzionalità per consentire agli utenti...

AMD vuole portare i processori Ryzen sugli smartphone

AMD, azienda nota per i suoi processori per PC,...

Gemini supporta l’italiano su Google Workspace

Gemini, l'assistente AI integrato in Google Workspace, supporta ora...

Netflix: causa legale per il match tra Paul e Tyson

Trasmessa in diretta su Netflix, la recente (e deludente)...

Facebook Messenger: sfondi con l’AI e video in HD

Meta ha lanciato una serie di aggiornamenti per l'app...
Pubblicità