カテゴリー: インフラ/運用
Chromeにプロキシを設定して、アクセス元IPアドレスを変更する方法ーselenium、curlのプロキシ設定含むー
rooterエンジニアのtoyamaです。 みなさんは大学内や会社内など限られた場所からしか見れないページを自宅から見たいと思ったことはないでしょうか？この方法として、すでに大学や会社のネットに接続されているパソコンをリ […]
Apache BenchによるWeb APIのストレステスト入門
こんにちは、学生アルバイトのohkiです。弊社では、クローリングによるRPAのために、Web APIなどをご提供する機会も多いのですが、その際にWebサーバがどこまでの負荷に耐えられるか、パフォーマンスはどうかを気にしな […]
MacでPIDファイルによるエラーでmysqlを起動できない時の対処法 (ERROR! MySQL server PID file could not be found!)
こんにちは、学生アルバイトのohkiです。 皆さんはノートパソコンを持っていますか？windowsですか？Macですか？私はMacを使っています。 ちなみに弊社では、Macユーザーが多いです。Macユーザーの特権はseq […]
クローラーの負荷監視に便利なSNMPの簡易Rubyラッパー
こんにちは。エンジニアのAraoです。今回は、簡易的なSNMPのRubyラッパーを紹介します。随分と間が空いてしまいましたが、SNMPでサーバーのモニタリングの続きになります。 本記事で実現したいこと 前回記事で、Net […]
クローリングデータの納品にも使えるAWS-SDK for RubyでのS3基本操作Tips
アルバイトのMoriです。 今回はクローリング会社として、データをS3を介してクライアントに納品する際に便利な、aws-sdk for rubyを使ったS3操作のTipsについて書きたいと思います。 目次 なにを紹介する […]
クローリング会社で開発に欠かせないLinuxコマンド集 – 初級編
皆さん、こんにちは 学生アルバイトの栃沢です。 今日は弊社のようなクローリング会社としてサービス提供しているサーバーサイドエンジニア主体の会社において、必ず覚えておかなければならないコマンドを紹介します。 僕は普段ubu […]
WSL環境でのseleniumクローラーをブラウザを立ち上げて開発する
こんにちは。学生エンジニアのhashimotoです。 自分がクローリング会社のrooterに入った時は自分以外のエンジニア全員macユーザーだったのですが、最近は少しずつwindowsユーザーも増えてきました。クローリン […]
MySQLのmysqldumpでローカルにファイルを作成せずs3にバックアップ&リストアする方法
システム運用をしているとs3にデータベースのバックアップを定期にアップロードをするケースがあります。ただ、データベースのサイズがある程度大規模になってくると、もし一旦ローカルにファイルを保存してバックアップを行う場合、そ […]