背景

データサイエンスを行う際には、外部データと内部データの両方を必要とするケースが多く見られます。従来から外部データの収集手段としてWebデータアグリゲーションを提供してまいりましたが、内部データの収集方法としてログデータに着目し、導入が容易なログデータアグリゲーションサービスを提供いたします。

特徴

1) ミドルウェアのログだけではなく、アプリから直接送るログデータも蓄積します

Webサーバーのアクセスログなどをはじめとする各種ミドルウェアの情報収集に加え、各個別アプリのデータも蓄積可能です。また、これまでのログソリューションはログ収集にあたり専用ミドルウェアをインストールする必要がありましたが、当ログデータアグリゲーションはミドルウェアのインストールは不要です。各種言語に対応したライブラリ・サンプルコードを設置するのみで機能します。

2) エラーログだけではなくINFOログもすべて蓄積可能です

クラッシュレポートを蓄積するソリューションは多く存在しますが、本当に必要なのは正常に動いている状態の分布のモニタリングです。当ソリューションは、正常に動作している状態を蓄積するだけの軽量なシステムとなっています。

3) Amazon RedShift ,Google Bigquery などのデータベースに連携可能です

直近のデータはストリームとして監視、過去データ含めた集計は、BigQueryなどのソリューションと連携可能です。

4）送信側のアプリには負荷がかかりません

ログサーバーとの接続はUDPを利用します。そのためネットワークトラブルの際にも、本体のアプリケーションには影響がありません。接続トラブルはINFOログの欠落によって検知することで検知可能です。

弊社での利用事例

弊社では多くの数百を超えるbotが稼働していますが、その稼働状況を一局で管理するために、ログデータアグリゲーション技術を使っています。ミドルウェアを必要としないため、Linux、Windows、Macのどの環境でも機能し、開発・デバッグ 中でも同一のアーキテクチャで開発可能となっています。