ルーター開発者ブログ
実務未経験で入社した社会人エンジニアが、ルーターで学んだ事
こんにちは。koyakunと申します。 18年5月に入社し、約1年ほどアルバイトとして就業しておりましたが、この度退職する事となりました。今後は自分で事業を行っていく予定です。 入社前の私は、こんな感じでした。 プログラ […]
seleniumクローラー開発にJavaScriptを活用しよう
こんにちは。学生エンジニアの橋本です。今回は、seleniumでクローラーを開発する際に便利なexecute_scriptメソッドの解説をします。このメソッドはJavaScriptをwebページに対して実行してくれるもの […]
matplotlibでグラフの背景を画像にする
こんにちは、エンジニアのオオカベです。 グラフの背景を画像にしたいと思ったことはありませんか？ 私はあります。 例えば画像の閲覧数のデータがあるとして、 上の図のように閲覧数の推移と実際の画像が一目で分かると便利じゃない […]
次に身につけたい参照系クエリ入門
こんにちは。アルバイトのkondoです。 クローリングで集めたデータの調査で、SQLを使いデータベースへ問い合わせをすることがあります。 今回はクエリの中でも少し難し目の参照系のクエリ(GROUP BY句, JOIN句, […]
Firebase Hosting / Cloud Functionsを用いてLINE Notify連携サービスを作成する
こんにちは、学生エンジニアのkoyamaです。 皆さんはLINE Notifyをご存知でしょうか？LINE NotifyはLINEのトークに対してpush通知を送ることに適したAPIです。ここではサービス登録を行って、通 […]
Nokogiriで正規表現にマッチするエレメントを取得する
こんにちは。 エンジニアの大壁です。 Nokogiriで正規表現を使いたいと思ったことはありませんか？ 私はあります。 例えばこういうHTMLがあったとして。 <article> <h2>foo& […]
Nokogiriのcssメソッドで「あるテキストを含むノード」を検索する
こんにちは。エンジニアの高橋です。 NokogiriのCSSセレクタでは「あるテキストを含むノード」を検索することができます。 表から新宿の天気だけ取得したい ▲この表から「新宿の天気」のみ取得することを考えます < […]
xdotool を使ったGUI操作で快適スクレイピング
GUIアプリは使っても、監視はCLIでやりたい 弊社では、クラウドサーバー上で自動化ツールを運用しています。クラウドサーバ上のLinuxもGUIがあるので、Chromeなどはヘッドレスではなく、GUIを持ったまま動かすこ […]