ガチでヤバい。
Webサイトから自動でデータを取ってくる「スクレイピング」が、これまでの定番ライブラリ(BeautifulSoup)より約784倍速くなった。
「サイトの防御をすり抜けて、止まらず壊れずデータが取れる」と評判のツールが公開されました。名前はScrapling。
・Cloudflare(有名なbot対策サービス)の認証画面をそのまま突破
・ブラウザの正体を偽装して、bot判定をすり抜ける
・サイトのデザインが変わっても、取りたい場所を自動で探し直す
など、「サイトが更新されるたびにコードを直す」苦労から解放される