投稿者: Daichi Kondo
PDFに埋め込まれたテーブルを、画像処理でパースする
はじめに こんにちは。アルバイトの近藤です。 突然ですが、HTMLからテーブルをパースしたいとき、どうしますか? そうです、HTMLパーサーを使いましょう。 RubyならNokogiriが、PythonならBeautif […]
HTMLのパースやデータの集計処理に活用できる探索系アルゴリズム
こんにちは、ルーターアルバイトのkondoです。 スクレイピングというと、Web上のデータをクローラーで集めることを思い浮かべがちですが、クロールしたデータのパースや、集めたデータを集計することも忘れてはいけません。今回 […]
次に身につけたい参照系クエリ入門
こんにちは。アルバイトのkondoです。 クローリングで集めたデータの調査で、SQLを使いデータベースへ問い合わせをすることがあります。 今回はクエリの中でも少し難し目の参照系のクエリ(GROUP BY句, JOIN句, […]
クローリングする際に調整したいHTTPリクエストパラメータ
こんにちは! アルバイトのkondoです。 ルーターではクローリングの際にSeleniumやMechanizeを使うことが多いですが、httpリクエストを直接投げてデータを集めることもあります。 今回は、クローリング時に […]
tmuxの使い方入門
こんにちは！ルーター学生アルバイトのkondoです。今回は、ターミナル操作が便利＆快適になるソフトウェア、tmuxを紹介します。 目次 tmuxとは インストール tmuxの基本の説明 プロセスの管理 ターミナル作業を快 […]
Rubyでの単体テストの書き方入門
こんにちは。ルーターの学生アルバイトのkondoです。 作成したプログラムの動作を保証する仕組みとして、テストコードを書くことがあります。 今回は、Rubyでのテストコードの書き方について紹介します。 テストコードとは […]