カテゴリー: クローリング/スクレイピング
WSL環境でのseleniumクローラーをブラウザを立ち上げて開発する
こんにちは。学生エンジニアのhashimotoです。 自分がクローリング会社のrooterに入った時は自分以外のエンジニア全員macユーザーだったのですが、最近は少しずつwindowsユーザーも増えてきました。クローリン […]
クローリングする際に調整したいHTTPリクエストパラメータ
こんにちは! アルバイトのkondoです。 ルーターではクローリングの際にSeleniumやMechanizeを使うことが多いですが、httpリクエストを直接投げてデータを集めることもあります。 今回は、クローリング時に […]
Nokogiriでパースできない壊れたタグをChromeを使って修復する
こんにちは。エンジニアの高橋です。 突然ですが、スクレイピング先のページがこんなページだったらどうしますか？ <html> <head> <meta http-equiv=”Content- […]
net/http でログインが必要なサイトの情報を取得する
こんにちは。koyakuです。 今まで弊社のブログでは、クローリング会社というポジションから、様々なスクレイピングやクローラーの方法をご紹介してきました。その中で、rubyを使ってログインが必要なサイトのスクレイピングを […]
Rubyのオープンクラスでnet/httpのタイムアウト時間を延長する
明けましておめでとうございます、アルバイトエンジニアのhayashiです。 今回はRubyのオープンクラスについて簡単に触れていこうと思います。 オープンクラスとは？ オープンクラスとは、新規クラスや継承などを利用せずに […]
スクレイピングの文字列抽出でよく使うRubyの正規表現
初めまして、学生アルバイトのitogaです。 僕が2ヶ月前に初めて正規表現を見たときは、思わずブラウザバッグを押したくなったものですが、上手く使いこなせるようになると非常に便利です。 今回は、Rubyでの正規表現の使い方 […]
seleniumでログインやスクロールが必要なSNSサイトのスクレイピング
こんにちは。学生エンジニアのhashimotoです。もう平成最後の年末ですね。 今回は、「selenium（セレニウム）を使ってSNSサイトにログインし、タイムラインをスクロールして自動取得する」という流れをご紹介します […]
Pryを使ってスクレイピングを楽にする【初心者向け】
こんにちは、学生エンジニアのkoyamaです。 今回はスクレイピング初心者にとって便利なgemを紹介します。 スクレイピングを行うときに、「CSSセレクタをちゃんと設定したつもりなのに欲しい内容が取得できないよ！」という […]