カテゴリー: インフラ/運用
クローラーの負荷監視に便利なSNMPの簡易Rubyラッパー
こんにちは。エンジニアのAraoです。今回は、簡易的なSNMPのRubyラッパーを紹介します。随分と間が空いてしまいましたが、SNMPでサーバーのモニタリングの続きになります。 本記事で実現したいこと 前回記事で、Net […]
クローリングデータの納品にも使えるAWS-SDK for RubyでのS3基本操作Tips
アルバイトのMoriです。 今回はクローリング会社として、データをS3を介してクライアントに納品する際に便利な、aws-sdk for rubyを使ったS3操作のTipsについて書きたいと思います。 目次 なにを紹介する […]
クローリング会社で開発に欠かせないLinuxコマンド集 – 初級編
皆さん、こんにちは 学生アルバイトの栃沢です。 今日は弊社のようなクローリング会社としてサービス提供しているサーバーサイドエンジニア主体の会社において、必ず覚えておかなければならないコマンドを紹介します。 僕は普段ubu […]
WSL環境でのseleniumクローラーをブラウザを立ち上げて開発する
こんにちは。学生エンジニアのhashimotoです。 自分がクローリング会社のrooterに入った時は自分以外のエンジニア全員macユーザーだったのですが、最近は少しずつwindowsユーザーも増えてきました。クローリン […]
MySQLのmysqldumpでローカルにファイルを作成せずs3にバックアップ&リストアする方法
システム運用をしているとs3にデータベースのバックアップを定期にアップロードをするケースがあります。ただ、データベースのサイズがある程度大規模になってくると、もし一旦ローカルにファイルを保存してバックアップを行う場合、そ […]
知ってると得するAWKの書き方9選
awk アルバイトのMoriです。 今回は業務で触れる機会があり、プライベートでも使い始めた言語AWKについて書かせていただきました。 目次 なにを紹介するのか 1. 最後からn番目の列を出力する 2. ファイルの2行目 […]
tmuxの使い方入門
こんにちは！ルーター学生アルバイトのkondoです。今回は、ターミナル操作が便利＆快適になるソフトウェア、tmuxを紹介します。 目次 tmuxとは インストール tmuxの基本の説明 プロセスの管理 ターミナル作業を快 […]SNMPでサーバーのモニタリング
こんにちは。エンジニアのAraoです。今回は、SNMPでサーバーのCPU使用率やロードアベレージなどのモニタリングを行う方法を紹介します。 SNMPとは Simple Network Management Protoco […]