AIクローラー〜AI技術を駆使したビッグデータ収集エンジン〜

Overview

サービス概要

従来のクローラーは人間が取得するコンテンツのURLやコンテンツの位置を決めることで初めてデータ収集が可能になります。しかし、情報収集のニーズの多くは、「XX業種に関連する会社の住所を収集してコンタクトリストを作成したい」というような、「どこにあるか分からない」、「どんなレイアウトでページ上に記載されているか分からない」情報を自動的に収集したいというものです。さらに、世の中のオープンデータ化の流れにより、このニーズは日増しに強くなってきています。

しかし、このニーズに答えるのは容易ではありませんでした。取得したいWebサイトの構造に合わせてそれに最適化したクローラーをスクラッチで開発するというのが一般的なクローラーの業務利用の主流になります。そのため、対象Webサイトが定まっていないような非定型の情報をクローラーによって収集するためにはこれまでにないクローラーが必要でした。

この課題に対し、弊社ではクローラーがコンテンツの意味を理解し、必要な情報を自動選別して収集することが可能な「AIクローラー」を開発致しました。AIクローラーは検索エンジンのようにキーワードベースで対象データの傾向を命令するだけで、インターネット上を回遊し、求められた情報を自動選別して収集することができる新時代のクローラーです。

Strengths

サービスの強み

クロール先の指定が不要

従来のクローリングのようにクロール先のサイトを明確に指定しなくても、「東京　IT」など検索キーワードベースで対象サイトを指定し、該当サイトの企業情報を取得する柔軟性を持った新しいクローラーです。
最新情報で自社独自のDB構築

例えば、リスト販売業者から入手した企業リストは、情報の鮮度が古く、競合企業にも販売されている可能性があります。AIクローラーで収集した情報は、今現在Web上に掲載されている最新の情報で、かつ、自社だけが持つオリジナルの貴重なリストとなります。
ご要件に合わせたカスタマイズ可能

定型的にXXリストを取得するというサービスではなく、ユーザーニーズに合わせてクローラーのカスタマイズが可能です。XX業界の企業情報を収集したいというニーズから、XX業界の商品のリコール情報収集など、ご利用途に合わせた最適なクローラーをともに考えご提案致します。