カテゴリー : クローリング/スクレイピング
こんにちは。エンジニアの高橋です。 突然ですが、スクレイピング先のページがこんなページだったらどうしますか？ <html> <head> <meta http-equiv=”Content- […]
こんにちは。koyakuです。 今まで弊社のブログでは、クローリング会社というポジションから、様々なスクレイピングやクローラーの方法をご紹介してきました。その中で、rubyを使ってログインが必要なサイトのスクレイピングを […]
明けましておめでとうございます、アルバイトエンジニアのhayashiです。 今回はRubyのオープンクラスについて簡単に触れていこうと思います。 オープンクラスとは？ オープンクラスとは、新規クラスや継承などを利用せずに […]
初めまして、学生アルバイトのitogaです。 僕が2ヶ月前に初めて正規表現を見たときは、思わずブラウザバッグを押したくなったものですが、上手く使いこなせるようになると非常に便利です。 今回は、Rubyでの正規表現の使い方 […]
こんにちは。学生エンジニアのhashimotoです。もう平成最後の年末ですね。 今回は、「selenium（セレニウム）を使ってSNSサイトにログインし、タイムラインをスクロールして自動取得する」という流れをご紹介します […]
こんにちは、学生エンジニアのkoyamaです。 今回はスクレイピング初心者にとって便利なgemを紹介します。 スクレイピングを行うときに、「CSSセレクタをちゃんと設定したつもりなのに欲しい内容が取得できないよ！」という […]
こんにちは。エンジニアのTakahashiです。 スクレイピングしたとき、いらない文字までとってきてしまうことがよくあります。 name = “テ ス ト 太 郎” age = “2 0 才” 上の例ではスペースが不要に […]
こんにちわ、ルーターエンジニアのMatsunagaです。 「この世に取得できない値はない」…….. ということで、今回はRubyを使ったスクレイピングでhtmlをパースする際、セレクタの指定で詰まった時に使う最終 […]
こんにちは。koyakuです。 今回は、rubyを使ってhtmlを整形したり不要なタグを削除して、html内のテキストを取得する方法をご紹介します。メモ程度の分量を取得したい場合は、コピー & ペーストで全く問題 […]
こんにちは。ルーターの学生アルバイトのkondoです。 作成したプログラムの動作を保証する仕組みとして、テストコードを書くことがあります。 今回は、Rubyでのテストコードの書き方について紹介します。 テストコードとは […]
お問い合わせ・ご依頼はこちらから
