MariaDB(MySQL)でレプリケーション環境を構成していると、ふとした拍子にSlaveへの同期がエラーで停止してしまうことがたびたび起こります。都度、同期の原因を調査・解消してレプリケーション再開を試みますが、あま […]
導入:インターネットに接しないネットワークとは サーバーサイドのシステム運用を扱っていると、ネットワーク的にインターネットと切り離されたセキュアなネットワークに設置したサーバーを構築することが良くあります。代表的なものが […]
お久しぶりです、Sakaeです。前回記事から少し間があいてしまいました。 「Update your client software to continue using Let's Encrypt」という件名のメー […]
こんにちは、ルーターのSakaeです。 IT業界ではその時代時代に流行する単語というものがあり、新たな言葉が日々生まれては、そのうちいくつかが大流行し、そしてまた新しい言葉の登場により、古い言葉が忘れさられていきます。 […]
こんにちはSakaeです。 弊社はデータクローリング専業という珍しい業態の会社ではありますが、事業の一角にヴォイスインターネット事業を抱えており、Amazon Alexa / Google Assistant向けのスキル […]
クローリング会社としてクローラーを運用していく場合、「毎時XX時にデータを取得する」や、「XX時間に一回データをCSVとして出力する」というような、バッチ処理をよく作成します。バッチ処理は複数のRubyモジュールやプロセ […]
お久しぶりです、スクレイピングエンジニアのSakaeです。 弊社の自慢であるクローリングを簡単に説明すると、Web上の公開データをスクレイピングで集めてくることと言えます。が、このクローリング技術を応用することで、普段人 […]
お久しぶりです、Sakaeです。 クローリングするにも様々なツールがありますが、その中でもWebブラウザを直接操作することが可能なSeleniumは特別な存在感を放ちます。 ヘッドレスブラウザを利用したクローリングでは昔 […]
こんにちはSakaeです。 ついに日本でもAmazon Echo Spot(エコースポット)が発売され、早速対応画面対応スキルがいくつかリリースされています。弊社でも現在画面付きEcho Spotのスキル開発・検証を実施 […]
お久しぶりです、エンジニアリードのSakaeです。 本技術ブログ解説以来、弊社スクレイピングエンジニア達がクローリング/RPAにまつわる様々な基礎技術や、クローラーをサーバー上で稼働させるための環境構築方法などについて個 […]
お問い合わせ・ご依頼はこちらから