MAGAZINE
ルーターマガジン
クローリング/スクレイピング
ルーターでスクレイピング・クローリングエンジニアとして学んだこと
2018.04.10
エンジニアのFujiwaraです
12月より半年ほど、アルバイトとしてrooterのお仕事に参加しましたが、この度退職させて頂くことになりました。短い間でしたが、プログラミングもDBも勉強になったことが多く、サーバサイドのスキルは次の仕事場でも活用できそうです。
ルーターでスクレイピング・クローリングエンジニアとして学んだこととして、特に以下の点が勉強になりました。
- DB(MySQL)に関する基本的なオペレーション。日々増加し続ける大量のレコードをどのようにさばくか。
- Webサービスの裏側で走るHTTP通信を読み取り、それを元にクローラーでデータ収集(またはRPA的なオペレーション)を行う。
- 単体・結合テストを行うことの重要性。
また、エンジニアの仕事の傍ら、アプリやWEBサイトのアイコンを描かせていただきまして、イラストのスキルが意外なところで役にたったので世の中不思議なこともあるものだなと思いました。
IT産業は移り変わりがはやく、いろんな人といろんな技術にふれあいましたが今後もどんどん変化しつづけていくのでしょう。
みなさんの成功を祈ってます。
また、ルーターではエンジニアのメンバー(アルバイト可)を絶賛募集中です! ご興味のある方はぜひこちらよりご応募ください。
CONTACT
お問い合わせ・ご依頼はこちらから