カテゴリー: クローリング/スクレイピング
chrome_remoteという選択（脱Selenium大作戦）
結論だけを読みたい人は、「
rubyのNokogiri attrメソッドの返り値が期待と違う！という時に確認すること
こんにちは、エンジニアのitogaです。 昨今の新型コロナウィルス感染症拡大の影響により、リモート研修の実施を余儀なくされ平時より研修のパフォーマンスが低下している企業さんも多々あるようです。 今回は、Nokogiriの […]
PDFに埋め込まれたテーブルを、画像処理でパースする
はじめに こんにちは。アルバイトの近藤です。 突然ですが、HTMLからテーブルをパースしたいとき、どうしますか? そうです、HTMLパーサーを使いましょう。 RubyならNokogiriが、PythonならBeautif […]
mitmproxyによるHTTP通信情報収集時に、リクエスト情報で対象の通信を判別する方法
こんにちは。学生アルバイトの橋本です。今回は, 以前の記事でご紹介した, mitmproxyで通信内容を自動取得する方法の発展として, request時のpostパラメータなどを用いる方法をご紹介します。 本編 mitm […]
Firebase Functionsでcronのような定期実行を簡単に設定する方法
はじめに あけましておめでとうございます!学生アルバイトのkoyamaです。 今回ご紹介するのはFirebaseで関数をCronのように定期実行させるための方法です。 定期実行関数の設定自体はGoogle Cloud P […]
BingAPIを用いた検索エンジン自動化（クローリング）手法！
こんにちは！アルバイトのHiokiです. みなさんスクレイピングをする上で検索エンジンを自動操作したくなることはありませんか？今回はそんなみなさんにBing APIの使い方(Ruby)を紹介します． 目次 価格 APIキ […]
Mechanizeを使ってログインが必要なページをスクレイピング
こんにちは。エンジニアのAraoです。今回は、RubyでのWebスクレイピングで役に立つ、Mechanizeというgemの簡単な使い方を紹介します。 Mechanizeって何？ Webスクレイピング入門、のような感じの技 […]
Nokogiriのat_cssメソッドで取得した要素(ノード)を完全に複製する方法
Nokogiriのdupメソッドでは、親兄弟は複製できないという話 NokogiriのNodeクラスに定義されているdupメソッドは、ノード自身とその子孫のみ複製しますすなわち、Nokogiriのdupメソッドでは、親要 […]