ルーター開発者ブログ
留学生がクローリング会社のルーターで研修を受けた感想
初めまして、学生アルバイトのHu Yong Haoと申します。台湾からの留学生で、現在東京在住の大学二年生です。2019年一月からルーターに入って研修し、最近仕事を始めました。この間の研修内容と経験を書いてシェアしたいと […]
Rubyの変数定義方法をスコープの観点から見る
こんにちは。アルバイトの大木です。普段プログラミングをしていて何気なく使っている変数ですが、スコープを意識して使っていますか？スコープと言うとかっこよく聞こえますが、要するに、変数にアクセスできる範囲のことです。この範囲 […]
クローリング会社で開発に欠かせないLinuxコマンド集 – 初級編
皆さん、こんにちは 学生アルバイトの栃沢です。 今日は弊社のようなクローリング会社としてサービス提供しているサーバーサイドエンジニア主体の会社において、必ず覚えておかなければならないコマンドを紹介します。 僕は普段ubu […]
Chromeデベロッパーツールでhttp通信でレスポンスされるファイル群を見る
はじめに 今日はクローリング会社における修得スキルの基礎中の基礎「Chromeデベロッパーツール」について解説させていただきます。（なお、現在はChromeデベロッパーツールは「Chrome DevTools」というのが […]
WSL環境でのseleniumクローラーをブラウザを立ち上げて開発する
こんにちは。学生エンジニアのhashimotoです。 自分がクローリング会社のrooterに入った時は自分以外のエンジニア全員macユーザーだったのですが、最近は少しずつwindowsユーザーも増えてきました。クローリン […]
クローリングする際に調整したいHTTPリクエストパラメータ
こんにちは! アルバイトのkondoです。 ルーターではクローリングの際にSeleniumやMechanizeを使うことが多いですが、httpリクエストを直接投げてデータを集めることもあります。 今回は、クローリング時に […]
スクレイピングにも便利なHashクラスメソッドを紹介します
こんにちは、学生アルバイトのkoyamaです。 今回はRubyのHashクラスについてお話したいと思います。 クローリング会社のお仕事だと特にそうですが、データを扱う時に必ずと言ってもいいほど出てくるハッシュには、意外と […]
Nokogiriでパースできない壊れたタグをChromeを使って修復する
こんにちは。エンジニアの高橋です。 突然ですが、スクレイピング先のページがこんなページだったらどうしますか？ <html> <head> <meta http-equiv=”Content- […]