エンジニアの Kanazawa です。弊社のデータアグリゲーション事業では、クローラによるデータの取得から、一部では「名寄せ」を行なうことで、さらに利用価値を高めてデータを提供することも行っております。 このブログでは、弊社における「名寄せ」の取り組みの例として、自社プロダクト「アドクロール」における名寄せの方法をご紹介します。

アドクロールにおける名寄せ

名寄せの必要性 (クロールデータのクレンジング)

アドクロールのデータは、弊社が開発したクローラによって、SNSを始めとする広告掲載媒体から収集した広告データです。クロール元は複数の広告媒体に渡っているため、同じ会社の広告であっても 表記が異なって掲載されていることがあります。

例えば、アドクロール上で「サントリー」と検索すると、 以下のような表記ゆれのパターンが確認できました。

サントリー
SUNTORY（サントリー）
サントリー公式チャンネル （SUNTORY）
サントリー（SUNTORY）
サントリー株式会社
SUNTORY サントリー

以前は、表記ゆれをしていたとしてもテキスト全文検索で対応していたのですが、社内で名寄せを運用する体制が確立されたため、現在では名寄せによって表記ゆれを吸収した結果をアドクロール上で検索できるようになりました。

名寄せの方法

アドクロールのDBには画像広告のみでも、日々 10,000 件を超える新規広告を取得しているため、単純にこれらを人力でチェックして名寄せを行なうことは到底不可能です。

しかし、広告は画像、LP、テキストのいずれかを固定しながら、複数のバリエーションが制作されているため、アドクロールではこの特徴を利用することで、同一の商品やサービスについての広告かどうかを自動判定することが出来るようになりました。

自動判定可能なものは自動判定し、完全に新規の広告など人間がチェックしなければならない部分を絞ることで、1日あたりに人手でチェックが必要な広告数を、新規広告数の1%程度まで削減し、人力でのチェックが可能となりました。

名寄せ専用の社内WEBアプリ構築

手動での名寄せを安定的に運用するために、弊社では専用の社内WEBアプリを構築するという選択肢を選びました。

それまでも、部分的に名寄せの作業が発生することは何度かありましたが、その際はGoogle スプレッドシートに名寄せ対象を出力し、そのシートを使って名寄せ作業を行っていました。

しかし、スプレッドシートによる名寄せでは、次の点がネックで大規模な名寄せ[を行なうのは困難でした。

• 名寄せ結果をDBに書き込むので、スプレッドシートとDBの二重管理が避けられない。
• 複数人で作業しにくい。 (複数人でするならファイルごと分けてしまう。)
• 作業のログが取れない。(編集履歴を見るしかない。)

そこで、名寄せ用のWEBアプリを社内向けに公開することで、上記の問題を解決することが出来ました。加えて、以下のメリットも得られました。

• 名寄せ先の候補を表示できるので、作業人に由来する判定の誤りを減らせる。
• 候補が表示されることで、名寄せにかかる時間を短縮できる。

以下が、実際に使用している名寄せアプリの画面のサンプルです。左側に広告の情報が表示され、それを元に右側に名寄せ結果のブランド名を入力する構成にしています。

他の事例

アドクロール以外の データアグリゲーション事業でも、名寄せを行ってデータ連携を行った事例として、「ホテル予約サイトクロール結果の名寄せ」があります。

ホテル予約サイトクロール結果の名寄せ

複数のホテル予約サイトをクロールし、その結果を「ホテル名・郵便番号・住所」を見ることで名寄せを行なうことが出来ました。これにより、サイトを横断してクロールデータを比較するといった重要な分析が可能になります。

上記の例のように、ホテル名が部分一致する例もあれば、サイトによって日本語表記 / アルファベット表記がまちまちのケースもあります。 これらのデータの特徴を掴み、パターンマッチによる自動判定と手動でのチェックを駆使してデータの名寄せが出来るのが弊社の強みになっています。

おわりに

今回は、弊社で取得しているクロールデータに対する名寄せの必要性とその方法について、いくつか事例を上げてご紹介いたしました。

データの名寄せを含め、Webデータ・アプリデータのクローリングにご興味があれば、是非以下のお問い合わせページよりご連絡下さい。