ルーター開発者ブログ
WSL環境でのseleniumクローラーをブラウザを立ち上げて開発する
こんにちは。学生エンジニアのhashimotoです。 自分がクローリング会社のrooterに入った時は自分以外のエンジニア全員macユーザーだったのですが、最近は少しずつwindowsユーザーも増えてきました。クローリン […]
クローリングする際に調整したいHTTPリクエストパラメータ
こんにちは! アルバイトのkondoです。 ルーターではクローリングの際にSeleniumやMechanizeを使うことが多いですが、httpリクエストを直接投げてデータを集めることもあります。 今回は、クローリング時に […]
スクレイピングにも便利なHashクラスメソッドを紹介します
こんにちは、学生アルバイトのkoyamaです。 今回はRubyのHashクラスについてお話したいと思います。 クローリング会社のお仕事だと特にそうですが、データを扱う時に必ずと言ってもいいほど出てくるハッシュには、意外と […]
Nokogiriでパースできない壊れたタグをChromeを使って修復する
こんにちは。エンジニアの高橋です。 突然ですが、スクレイピング先のページがこんなページだったらどうしますか？ <html> <head> <meta http-equiv=”Content- […]
MySQLのmysqldumpでローカルにファイルを作成せずs3にバックアップ&リストアする方法
システム運用をしているとs3にデータベースのバックアップを定期にアップロードをするケースがあります。ただ、データベースのサイズがある程度大規模になってくると、もし一旦ローカルにファイルを保存してバックアップを行う場合、そ […]
学生としてエンジニア経験を積む
はじめまして。学生アルバイトのohkiです。神奈川県在住の大学2年生です。ルーターに入社して約一ヶ月が経とうとしています。最近研修を終え、実際の業務にも少しずつ入っています。今回は研修で学んだことについて書いていきたいと […]
net/http でログインが必要なサイトの情報を取得する
こんにちは。koyakuです。 今まで弊社のブログでは、クローリング会社というポジションから、様々なスクレイピングやクローラーの方法をご紹介してきました。その中で、rubyを使ってログインが必要なサイトのスクレイピングを […]
RubyワンライナーでAWKのスクリプトに対抗する
クローリング会社としてクローラーを運用していく場合、「毎時XX時にデータを取得する」や、「XX時間に一回データをCSVとして出力する」というような、バッチ処理をよく作成します。バッチ処理は複数のRubyモジュールやプロセ […]