カテゴリー: Ruby
Nokogiriのcssメソッドで「あるテキストを含むノード」を検索する
こんにちは。エンジニアの高橋です。 NokogiriのCSSセレクタでは「あるテキストを含むノード」を検索することができます。 表から新宿の天気だけ取得したい ▲この表から「新宿の天気」のみ取得することを考えます < […]
Rubyの変数定義方法をスコープの観点から見る
こんにちは。アルバイトの大木です。普段プログラミングをしていて何気なく使っている変数ですが、スコープを意識して使っていますか？スコープと言うとかっこよく聞こえますが、要するに、変数にアクセスできる範囲のことです。この範囲 […]
スクレイピングにも便利なHashクラスメソッドを紹介します
こんにちは、学生アルバイトのkoyamaです。 今回はRubyのHashクラスについてお話したいと思います。 クローリング会社のお仕事だと特にそうですが、データを扱う時に必ずと言ってもいいほど出てくるハッシュには、意外と […]
RubyワンライナーでAWKのスクリプトに対抗する
クローリング会社としてクローラーを運用していく場合、「毎時XX時にデータを取得する」や、「XX時間に一回データをCSVとして出力する」というような、バッチ処理をよく作成します。バッチ処理は複数のRubyモジュールやプロセ […]
Rubyのオープンクラスでnet/httpのタイムアウト時間を延長する
明けましておめでとうございます、アルバイトエンジニアのhayashiです。 今回はRubyのオープンクラスについて簡単に触れていこうと思います。 オープンクラスとは？ オープンクラスとは、新規クラスや継承などを利用せずに […]
スクレイピングの文字列抽出でよく使うRubyの正規表現
初めまして、学生アルバイトのitogaです。 僕が2ヶ月前に初めて正規表現を見たときは、思わずブラウザバッグを押したくなったものですが、上手く使いこなせるようになると非常に便利です。 今回は、Rubyでの正規表現の使い方 […]
Pryを使ってスクレイピングを楽にする【初心者向け】
こんにちは、学生エンジニアのkoyamaです。 今回はスクレイピング初心者にとって便利なgemを紹介します。 スクレイピングを行うときに、「CSSセレクタをちゃんと設定したつもりなのに欲しい内容が取得できないよ！」という […]
【ruby】Stringをrefinementしてテキスト処理
こんにちは。エンジニアのTakahashiです。 スクレイピングしたとき、いらない文字までとってきてしまうことがよくあります。 name = “テ ス ト 太 郎” age = “2 0 才” 上の例ではスペースが不要に […]