サービス概要

従来のクローラーは人間が取得するコンテンツのURLやコンテンツの位置を決めることで初めてデータ収集が可能になります。しかし、情報収集のニーズの多くは、「XX業種に関連する会社の住所を収集してコンタクトリストを作成したい」というような、「どこにあるか分からない」、「どんなレイアウトでページ上に記載されているか分からない」情報を自動的に収集したいというものです。さらに、世の中のオープンデータ化の流れにより、このニーズは日増しに強くなってきています。

しかし、このニーズに答えるのは容易ではありませんでした。取得したいWebサイトの構造に合わせてそれに最適化したクローラーをスクラッチで開発するというのが一般的なクローラーの業務利用の主流になります。そのため、対象Webサイトが定まっていないような非定型の情報をクローラーによって収集するためにはこれまでにないクローラーが必要でした。

この課題に対し、弊社ではクローラーがコンテンツの意味を理解し、必要な情報を自動選別して収集することが可能な「AIクローラー」を開発致しました。AIクローラーは検索エンジンのようにキーワードベースで対象データの傾向を命令するだけで、インターネット上を回遊し、求められた情報を自動選別して収集することができる新時代のクローラーです。

サービスの強み

従来のクローリングのようにクロール先のサイトを明確に指定しなくても、「東京 IT」など検索キーワードベースで対象サイトを指定し、該当サイトの企業情報を取得する柔軟性を持った新しいクローラーです。
例えば、リスト販売業者から入手した企業リストは、情報の鮮度が古く、競合企業にも販売されている可能性があります。AIクローラーで収集した情報は、今現在Web上に掲載されている最新の情報で、かつ、自社だけが持つオリジナルの貴重なリストとなります。
定型的にXXリストを取得するというサービスではなく、ユーザーニーズに合わせてクローラーのカスタマイズが可能です。XX業界の企業情報を収集したいというニーズから、XX業界の商品のリコール情報収集など、ご利用途に合わせた最適なクローラーをともに考えご提案致します。

オープンデータ・独自データベースの構築利用例

特定種別の自治体施設の住所・連絡先をオープン化

各自治体の独自フォーマットで公開される事業所・施設の情報を収集し、定形フォーマットに整形して情報をまとめることが可能です。

URLリストを元にコーポレートサイトの企業情報をデータベース化

調査対象URLリストをすでに保有している場合、該当URLの企業情報(問い合わせ先・住所・電話番号・従業員数・資本金、など)を収集して企業データベース化することも可能です。

特定検索キーワード上位の競合サイトのSEO対策を分析

自社が上位表示を目指す検索キーワード上位に表示される競合Webサイトの、重要タグ設計、コンテンツ傾向、など、検索エンジン最適化の対策を分析。

レストランなどのチェーン展開するサービス業の支店情報を収集

全国にチェーン展開するレストランやアパレル、学習塾などの所在地情報や連絡先情報を自動収集。

全国に営業支店・事業所を展開するグループ企業の事業所情報を見える化

大企業は全国に営業支店や製造事業所、物流拠点などを構えて事業を行っています。グループ企業の各事業所の支店名・所在地・連絡先などを横断して見える化します。

特定領域の情報に絞ったニュースキュレーション

自社に関連する企業でリコールが発生した、営業上知っておくべき業界情報ニュースなど、特定の領域に絞ったニュースキュレーションが可能です。

株式・投信・仮想通貨など金融情報をオープンデータ化

公開金融市場の商品・銘柄データを収集・集計し、市場分析に利用可能なオープンデータとして公開。

自社Webサイトでのみ公開されるプレスリリースを収集

プレスリリース配信サイトでは配信されないような、中小企業が自社サイトで独自に掲載するプレスリリース情報も逃さず収集。

公開SNS上の個人の発信情報を特定領域に絞り抽出

個人が公開SNS(Twitterなど)上で発信する情報を定点観測し、特定領域に関連する情報のみ抽出することが可能。

導入までの流れ

1.以下のフォームよりご相談ください。
2.ご要件確認のご連絡・お打合せをさせて頂きます。
3.お客様のご要件を実現可能か検証を行い、サンプルデータを納品致します。
4.AIクローラーの本番構築を行います。
5.AIクローラーが継続して安定稼働するよう保守運用を行います。

お問い合わせフォーム