カテゴリー: クローリング/スクレイピング
YouTubeの限定公開動画広告をBERTで分類する
ルーターの伊崎です。今回は、弊社で実際に行っている、BERTによるYouTubeの広告分類についてお話いたします。 はじめに 弊社では、YouTubeの動画広告のスクレイピングを行っており、そこで得られたデータは弊社の広 […]
検索結果をエクセルに貼り付けやすくするブックマークレット
ブックマークレット本体 以下のソースをブックマークのURL欄にコピー＆ペーストします javascript:(function(){ let results = document.querySelectorAll(‘[c […]
Seleniumを使って無限スクロールをゆっくりスクロールする方法
こんにちは。アルバイトのtakataです。初めての投稿ですがよろしくお願いいたします。今回は8割程度のところまでスクロールするとウェブページの更新が行われ、かつ、更新回数が2度以上あるサイトのスクレイピングをSeleni […]
Ruby × Seleniumでファイルをダウンロード
こんにちは、アルバイトのarakiです． 最近は感染症の流行で外に出る機会も減りました．人の少ない時間帯に散歩などしたいものですが、季節柄、暑さが厳しいかと思えば雨が強かったりでおっくうになってしまうものです．それでも、 […]
chrome_remoteという選択（脱Selenium大作戦）
結論だけを読みたい人は、「
rubyのNokogiri attrメソッドの返り値が期待と違う！という時に確認すること
こんにちは、エンジニアのitogaです。 昨今の新型コロナウィルス感染症拡大の影響により、リモート研修の実施を余儀なくされ平時より研修のパフォーマンスが低下している企業さんも多々あるようです。 今回は、Nokogiriの […]
PDFに埋め込まれたテーブルを、画像処理でパースする
はじめに こんにちは。アルバイトの近藤です。 突然ですが、HTMLからテーブルをパースしたいとき、どうしますか? そうです、HTMLパーサーを使いましょう。 RubyならNokogiriが、PythonならBeautif […]
mitmproxyによるHTTP通信情報収集時に、リクエスト情報で対象の通信を判別する方法
こんにちは。学生アルバイトの橋本です。今回は, 以前の記事でご紹介した, mitmproxyで通信内容を自動取得する方法の発展として, request時のpostパラメータなどを用いる方法をご紹介します。 本編 mitm […]