MAGAZINE

ルーターマガジン

クローリング/スクレイピング

ルーターの新人研修で学んだ5つの技術

2018.06.08
Pocket

はじめまして。ルーターの学生アルバイトのSaitoです。

ルーターでは珍しいwindowsユーザーで、普段はWindows Subsystem for LinuxにてUbuntuで作業を行っています。

自分は大学でrubyの基礎文法を少し学んでそれを生かしたいと思いルーターに入社しました。

今回はルーターに入って新たに学んだことのうち、5つの技術を紹介しようと思います。

rubyを用いたファイル読み取り・変換・生成

rubyを使ってTSV(タブ区切りテキスト), CSV(カンマ区切りテキスト), jsonファイルを読み取り・変換・生成をできるようになりました。

rubyとc言語の基礎文法くらいしか触ったことがなかったのであまり気付かなかったのですが、rubyは文字列を操作をするためのメソッドやライブラリがたくさんあることを知り、様々な文書の作成が行えることを知りました。

MySQLの操作

MySQLにデータを貯めたり、取得したりできるようになりました。前に1人でMySQLを調べて使おうとして挫折したこともありましたが、ルーターに入って学び直し、MySQLの設定など様々なものを操作することができるようになりました。

rubyを使ったMySQLの操作

先のMySQLのデータを追加・取得・削除等を行うことができるようになりました。これによりrubyプログラムでMySQLがいじれるようになりました。

rubyを使ったWebクローリング/スクレイピング

rubyのWebクローリング/スクレイピングをできるようになりました。これらを用いてフォーム入力をしたら結果が表示されるというサイトの結果情報などを集めて取得したりすることができるようになりました。また、様々なページをクローリング/スクレイピングする場合はhtmlの縦方向のデータ数が変わっても正しく動くように設計しなければならないということも学びました。

例えばhtmlの表を取ってくるときに、レコード数(行数)がページによって異なるということはよくあります。そのため様々なページにアクセスする場合は縦方向が可変のページでも正しく動作するようなプログラムを作らなければいけないということをまなびました。

rspecを使ったテスト

上記のWebクローリング/スクレイピングの情報と、自分の期待している情報が合っているかどうかを随時確かめるための情報を取得することができるようになりました。これによりスクレイピングを円滑に行うことができるようになりました。

おわりに

まだ入社して2ヶ月ちょっとで、研修が終わって仕事に携わり始めたばかりですが、研修等を通して多くのことを学ぶことができました。これからも頑張りたいと思います。

また、ルーターではエンジニアのメンバー(アルバイト可)を絶賛募集中です! ご興味のある方はぜひこちらよりご応募ください。

Pocket

CONTACT

お問い合わせ・ご依頼はこちらから