スクレイピングエンジニア8年目のitogaです。 今回は、私がスクレイピング、クローラーを実装するにあたって活用しているChrome拡張機能を4つ紹介します。

1. JavaScriptのON,OFFをするChrome拡張機能 - Quick Javascript Switcher

アドレスバー右のアイコンを1クリックでjavascriptのオンオフを切り替えられる。ブラウザで見えているどの要素がjavascriptで描画された要素なのかが視覚的に一発で分かる。

▼javascriptが有効な状態

▼javascriptが無効な状態

2. Chromeにプロキシを通すChrome拡張機能 - プロキシーヘルパー

Chromeを再起動することなくChromeのプロキシを変更出来る。IPアドレス別のサイトの挙動の違いを調査するのに便利。特にクラウドサーバーでクローラーを運用しているケースでは、ローカルChromeにプロキシを通せると比較検証の幅が広がる。

3. CDNなどwebサイトの利用サービス,技術を一覧できるChrome拡張機能 - Wappalyzer - Technology profiler

1クリックでwebサイトの利用サービス,技術を一覧できる。使われているCDNなどから適切なクロールの仕方を判断するために参照することが多い。

4. HTMLの開始終了タグの過不足を検出するChrome拡張機能 - HTMLエラーチェッカー

HTMLタグに不正がある場合に、Chromeは勝手に補完してレンダリングするがHTMLパーサーでは補完しない（または異なる補完をする）ためにスクレイピングが思い通りにならない場合がある。タグの不正を疑う場合に1クリックで確認できるのが便利。

▼HTMLに不正なタグが存在する場合

▼HTMLに不正なタグが存在しない場合

おわりに

Manifest V2が廃止された今、配布が廃止された拡張機能も多くありますが、今回はManifetst V3に対応して配布されている拡張機能に絞って紹介しました。 弊社の他記事では、自作Chrome拡張機能"で"スクレイピングしたり、Chrome拡張機能"を"スクレイピングしたりもしておりますので、是非ご覧ください。

▼関連記事

Chrome拡張とJavascriptでお手軽RPAスクレイピング

chrome_remoteを使ってchromeの機能拡張をスクレイピングできるか？