カテゴリー: データ/フォーマット
Nokogiriで容量が大きいxmlをparseしてメモリ溢れ(プロセスkilled)するときのNokogiri::XML::Reader
Nokogiri::XML::Readerは容量が大きいXMLファイルを扱うのに最適なクラスです。 Nokogiri::XML::Readerに至った経緯 Nokogiriで少しサイズの大きいXMLファイルをパースしたい […]
Rubyの多次元hashから目的の値がある位置を検索する方法
エンジニアのohkabeです。 多次元構造のjson、複雑ですよね。 深いネストの中から特定の値を取り出したいと思ったことはありませんか？ そしてその階層に至るまでのkeyの連続を知りたいと思ったことはないですか？ 例え […]
隣接都道府県APIをテスト公開します
yugo yamamotoです。 多くの地図アプリでは現在地を中心とした同心円状の距離で地域をしめしますが、実際に私達が移動するのは、地名をベースに移動をします。 例えば、家を借りたりレンタカーを借りたりする際には、渋谷 […]
Rubyで住所文字列を都道府県・市区町村などのArrayに分解するメソッド
こんにちは。学生アルバイトの橋本です。弊社ではweb上の様々なデータをスクレイピングをしています。例えば何らかのジャンルの店舗リストをスクレイピングしてデータベースに取り込むとします。もちろんその情報には店舗の住所も含ま […]
HTMLのパースやデータの集計処理に活用できる探索系アルゴリズム
こんにちは、ルーターアルバイトのkondoです。 スクレイピングというと、Web上のデータをクローラーで集めることを思い浮かべがちですが、クロールしたデータのパースや、集めたデータを集計することも忘れてはいけません。今回 […]
SVGを使ってフルスクラッチでグラフ画像を描画する方法
#SVGを使ってフルスクラッチでグラフを描画してみた 今回はSVGを使って、コーディングで直接グラフを描画する方法をご紹介します。 なぜSVGを使うか Chart.jsやCanvas.jsなどグラフ描画ライブラリは色々あ […]
形態素解析エンジンMeCabと固有表現に強い辞書mecab-ipadic-NEologdをインストールする
こんにちは。エンジニアのAraoです。今回は、オープンソースの形態素解析エンジンのMeCabと、そのMecabで使える、固有名詞や新語、流行語に強い辞書のmecab-ipadic-NEologdをインストールする手順を紹 […]
matplotlibでグラフの背景を画像にする
こんにちは、エンジニアのオオカベです。 グラフの背景を画像にしたいと思ったことはありませんか？ 私はあります。 例えば画像の閲覧数のデータがあるとして、 上の図のように閲覧数の推移と実際の画像が一目で分かると便利じゃない […]