カテゴリー: プログラミング
Nokogiri拡張Rubygem Tonkachiのご紹介
こんにちは。エンジニアのAraoです。今回は、Webスクレイピングで役に立つ、Nokogiriの拡張Rubygemを紹介します。これまた随分と間が空いてしまいましたが、スクレイピングでNokogiri HTMLパース時に […]
FactoryBotでRailsのテスト用レコードを楽に作成する
こんにちは。アルバイトのハオです。今回はRailsのspecテストに役に立つfactory_bot（元factory_girl）について紹介したいと思います。FactoryBotで、テスト用のDBのレコードを便利に設定し […]
Nokogiriで容量が大きいxmlをparseしてメモリ溢れ(プロセスkilled)するときのNokogiri::XML::Reader
Nokogiri::XML::Readerは容量が大きいXMLファイルを扱うのに最適なクラスです。 Nokogiri::XML::Readerに至った経緯 Nokogiriで少しサイズの大きいXMLファイルをパースしたい […]
Rubyの多次元hashから目的の値がある位置を検索する方法
エンジニアのohkabeです。 多次元構造のjson、複雑ですよね。 深いネストの中から特定の値を取り出したいと思ったことはありませんか？ そしてその階層に至るまでのkeyの連続を知りたいと思ったことはないですか？ 例え […]
Chromeにプロキシを設定して、アクセス元IPアドレスを変更する方法ーselenium、curlのプロキシ設定含むー
rooterエンジニアのtoyamaです。 みなさんは大学内や会社内など限られた場所からしか見れないページを自宅から見たいと思ったことはないでしょうか？この方法として、すでに大学や会社のネットに接続されているパソコンをリ […]
Rubyで住所文字列を都道府県・市区町村などのArrayに分解するメソッド
こんにちは。学生アルバイトの橋本です。弊社ではweb上の様々なデータをスクレイピングをしています。例えば何らかのジャンルの店舗リストをスクレイピングしてデータベースに取り込むとします。もちろんその情報には店舗の住所も含ま […]
HTMLのパースやデータの集計処理に活用できる探索系アルゴリズム
こんにちは、ルーターアルバイトのkondoです。 スクレイピングというと、Web上のデータをクローラーで集めることを思い浮かべがちですが、クロールしたデータのパースや、集めたデータを集計することも忘れてはいけません。今回 […]
【selenium X ruby X chrome】 profileを使用してログインをパスする
エンジニアのTakahashiです。 selenium/chromeで毎回ログインしたく無い場合があります。例えば、ログインフォームのセキュリティチェックが厳しい場合や、単に面倒臭い場合など。。 そのような場合に、Coo […]