カテゴリー: クローリング/スクレイピング
rooを使ってrubyでExcelファイルをパースする方法
はじめに RubyからExcelファイルを読み込む方法を解説します。Excelファイルを扱えるgemはいくつかありますが、今回はxlsとxlsx両方に対応している「roo」を使います。 動作環境 OS X El Capi […]
NokogiriでHTMLを対象に深さ優先探索
こんにちは。エンジニアのAraoです。今回は、NokogiriでHTMLをパースするときに、深さ優先探索を実施する方法を紹介します。 何故深さ優先探索か Webスクレイピングの際に、対象となるHTMLがどのような形式か事 […]
RPAクローラー構築時にSeleniumでよく使うJavaScriptチートシート
RPA(Robotic Process Automation)のクローラー構築時には、ID/パスワード管理されたサイトへのログインや、入力フォーム上での自動記入などの操作をクローラーから実行させる必要があります。また、ク […]
windows環境でクローラーを開発・運用するための環境構築方法
こんにちは。koyakuです。 今回は、windows上でubuntuとrubyの環境を構築し、クローリングを行ってみようと思います。 最終的には、弊社のホームページのメインページよりブログ一覧画面へ移動をし、スクリーン […]
Sinatra APIでGoogle検索結果取得RPA
こんにちは、コロンビア人の大学院生エンジニアgaruです。さて、自動で業務を行ってくれるRPAですが、、、今回はサーバーを立てて簡単にRPAを実行する方法を紹介します。 APIサーバーとは？ APIサーバーとは、簡単に言 […]
スクレイピング(RPA)を支える技術-環境構築＆初級編
お久しぶりです、エンジニアリードのSakaeです。 本技術ブログ解説以来、弊社スクレイピングエンジニア達がクローリング/RPAにまつわる様々な基礎技術や、クローラーをサーバー上で稼働させるための環境構築方法などについて個 […]
スクレイピングエンジニアなら知っておきたいNokogiriの使い方8選
学生エンジニアのMoriです。 今回はWebクローリングでも多用する Nokogiri を使ったスクレイピングについて書きたいと思います。 目次 Nokogiriとは Nokogiriを使う準備 基本的な使い方 HTML […]
クローリング時にセル結合されたtableを綺麗にパースする
こんにちは。学生エンジニアのTsuboiです。 Webクローリング/スクレイピングをする際、しばしばセル結合されたtableをパースする必要が出てきます。 今回は、セル結合されているtableを綺麗にHTMLからArra […]