V této části článku rozvíjíme téma, které se na první pohled může jevit jako technické a úzce specializované, ale v praxi má vliv na to, jak se vyrovnáváme s nároky na výkon a bezpečnost při sběru dat a ověřování uživatelů na webových stránkách.
Kontext a účel ochranných mechanismů při webovém scrapingu
the idea is that at individual scales the additional load is ignorable, but at mass scraper levels it adds up and makes scraping much more expensive.Ultimately, this is a placeholder solution so that more time can be spent on fingerprinting and identifying headless browsers (EG: via how they do font rendering) so that the challenge proof of work page doesn't need to be presented to users that are much more likely to be legitimate.
Please note that Anubis requires the use of modern JavaScript features that plugins like JShelter will disable.
Hlavní myšlenky
- Na menších měřítkách je dodatečná zátěž zanedbatelná, avšak u masivního sběru dat se sčítá a zvyšuje náklady.
- Placení za lidský nebo legitimní provoz má být zpožděním, které chrání proti automatizovaným scraperům bez zbytečného narušení skutečným uživatelům.
- Řešení je dočasné, umožňující delší dobu na fingerprinting a identifikaci headless prohlížečů, například podle způsobu vykreslování fontů.
- Cílem je, aby stránka s výzvou Proof of Work nebyla zobrazována uživatelům, kteří jsou vysoce pravděpodobně legitimní.
Technická stránka problému a identifikace headless prohlížečů
the idea is that at individual scales the additional load is ignorable, but at mass scraper levels it adds up and makes scraping much more expensive.Ultimately, this is a placeholder solution so that more time can be spent on fingerprinting and identifying headless browsers (EG: via how they do font rendering) so that the challenge proof of work page doesn't need to be presented to users that are much more likely to be legitimate.
Prosím, berte na vědomí, že Anubis vyžaduje použití moderních JavaScriptových funkcí, které pluginy jako JShelter zakážou.
Praktické implikace a omezení
- Se zavedením záloh a zátěže se musí počítat dopad na výkon a uživatelskou zkušenost.
- Použití fingerprintingu umožňuje cílit na podezřelé chování bez zásahu do legitimního provozu.
- Font rendering a jiné charakteristiky prohlížeče mohou být použity k rozlišení mezi lidmi a boty.
