ルーター開発者ブログ
Nokogiriで容量が大きいxmlをparseしてメモリ溢れ(プロセスkilled)するときのNokogiri::XML::Reader
Nokogiri::XML::Readerは容量が大きいXMLファイルを扱うのに最適なクラスです。 Nokogiri::XML::Readerに至った経緯 Nokogiriで少しサイズの大きいXMLファイルをパースしたい […]
Rubyの多次元hashから目的の値がある位置を検索する方法
エンジニアのohkabeです。 多次元構造のjson、複雑ですよね。 深いネストの中から特定の値を取り出したいと思ったことはありませんか？ そしてその階層に至るまでのkeyの連続を知りたいと思ったことはないですか？ 例え […]
隣接都道府県APIをテスト公開します
yugo yamamotoです。 多くの地図アプリでは現在地を中心とした同心円状の距離で地域をしめしますが、実際に私達が移動するのは、地名をベースに移動をします。 例えば、家を借りたりレンタカーを借りたりする際には、渋谷 […]
Chromeにプロキシを設定して、アクセス元IPアドレスを変更する方法ーselenium、curlのプロキシ設定含むー
rooterエンジニアのtoyamaです。 みなさんは大学内や会社内など限られた場所からしか見れないページを自宅から見たいと思ったことはないでしょうか？この方法として、すでに大学や会社のネットに接続されているパソコンをリ […]
Apache BenchによるWeb APIのストレステスト入門
こんにちは、学生アルバイトのohkiです。弊社では、クローリングによるRPAのために、Web APIなどをご提供する機会も多いのですが、その際にWebサーバがどこまでの負荷に耐えられるか、パフォーマンスはどうかを気にしな […]
Rubyで住所文字列を都道府県・市区町村などのArrayに分解するメソッド
こんにちは。学生アルバイトの橋本です。弊社ではweb上の様々なデータをスクレイピングをしています。例えば何らかのジャンルの店舗リストをスクレイピングしてデータベースに取り込むとします。もちろんその情報には店舗の住所も含ま […]
HTMLのパースやデータの集計処理に活用できる探索系アルゴリズム
こんにちは、ルーターアルバイトのkondoです。 スクレイピングというと、Web上のデータをクローラーで集めることを思い浮かべがちですが、クロールしたデータのパースや、集めたデータを集計することも忘れてはいけません。今回 […]
【selenium X ruby X chrome】 profileを使用してログインをパスする
エンジニアのTakahashiです。 selenium/chromeで毎回ログインしたく無い場合があります。例えば、ログインフォームのセキュリティチェックが厳しい場合や、単に面倒臭い場合など。。 そのような場合に、Coo […]