カテゴリー: クローリング/スクレイピング
スクレイピングでNokogiri HTMLパース時に、tableを転置するメソッドの紹介
こんにちは。エンジニアのAraoです。今回は、RubyでHTMLをパースする際に非常によく用いられるNokogiriで、tableを転置するメソッドを紹介します。 Nokogiriとは Nokogiri Nokogiri […]
クローラーの負荷監視に便利なSNMPの簡易Rubyラッパー
こんにちは。エンジニアのAraoです。今回は、簡易的なSNMPのRubyラッパーを紹介します。随分と間が空いてしまいましたが、SNMPでサーバーのモニタリングの続きになります。 本記事で実現したいこと 前回記事で、Net […]
seleniumクローラー開発にJavaScriptを活用しよう
こんにちは。学生エンジニアの橋本です。今回は、seleniumでクローラーを開発する際に便利なexecute_scriptメソッドの解説をします。このメソッドはJavaScriptをwebページに対して実行してくれるもの […]
Nokogiriで正規表現にマッチするエレメントを取得する
こんにちは。 エンジニアの大壁です。 Nokogiriで正規表現を使いたいと思ったことはありませんか？ 私はあります。 例えばこういうHTMLがあったとして。 <article> <h2>foo& […]
Nokogiriのcssメソッドで「あるテキストを含むノード」を検索する
こんにちは。エンジニアの高橋です。 NokogiriのCSSセレクタでは「あるテキストを含むノード」を検索することができます。 表から新宿の天気だけ取得したい ▲この表から「新宿の天気」のみ取得することを考えます < […]
xdotool を使ったGUI操作で快適スクレイピング
GUIアプリは使っても、監視はCLIでやりたい 弊社では、クラウドサーバー上で自動化ツールを運用しています。クラウドサーバ上のLinuxもGUIがあるので、Chromeなどはヘッドレスではなく、GUIを持ったまま動かすこ […]
クローリング会社で開発に欠かせないLinuxコマンド集 – 初級編
皆さん、こんにちは 学生アルバイトの栃沢です。 今日は弊社のようなクローリング会社としてサービス提供しているサーバーサイドエンジニア主体の会社において、必ず覚えておかなければならないコマンドを紹介します。 僕は普段ubu […]
Chromeデベロッパーツールでhttp通信でレスポンスされるファイル群を見る
はじめに 今日はクローリング会社における修得スキルの基礎中の基礎「Chromeデベロッパーツール」について解説させていただきます。（なお、現在はChromeデベロッパーツールは「Chrome DevTools」というのが […]