カテゴリー : クローリング/スクレイピング
PDFでのデータ公開が止まらない yugoyamamotoです。 文書のパーマリンクを共有しておけばリアルタイムに最新版が見れて便利だよねというのがインターネットの便利さではあるのですが、一向にPDFを添付しあうという文 […]
UTF8には3種類ある UTF8と一言で言っても業務上は3つの分岐が発生します BOMなしUTF8 一般的なUTF8ですね BOMありUTF8 「CSV拡張子のファイルをダブルクリックしてエクセルで文字化けせずに開かせた […]
Nokogiriのtextメソッドは子孫要素まで結合されて困る RubyのNokogiriでHTMLをスクレイピングするとほぼ必ず使うメソッド「text」は、子孫要素全てのテキストを結合して取得する仕様となっています。そ […]
curlのレスポンスでheaderとbodyを分けて取得したい スクレイピングの際にはcurlコマンドを使うケースが多いですが、その際にレスポンスヘッダを取得したいケースがあります。 curl -i で、レスポンスヘッダ […]
はじめに 弊社では古くから運用しているプロジェクトなどでRuby2.4のような古いバージョンを利用しているプログラムがいくつか存在しています。そのようなレガシー環境では、最新のライブラリを使えない、あるいはパフォーマンス […]
データサイエンティスト泣かせのPDF 自治体や官公庁の多くはPDFで情報を公開しています。ところがPDFはほぼ印刷データに近いかたちで構造化データにはなっていません。エクセルやWordで無理やりPDFを開けばある程度は構 […]
近年ReactやVueなどクライアントサイドレンダリング(CSR)のサイトが多くなってきました。 それに伴い、NokogiriなどHTMLのDOMを参照するスクレイピングでは太刀打ちできないサイトが多くなりました。 今回 […]
スクレイピング業務で一番使うのはSQL スクレイピング業務で一番使うのは実はSQLです。プログラムを作った後にまともにデータが入っているかどうか、ゴミデータなどが混じってないかどうかを確認します。 期待通りのデータかどう […]
動画要約っていうか字幕スクレイピング＆要約ですよね 生成AIを使ったYouTube動画要約ツールをみかけますが、実態としては動画本体を解釈しているのではなくYouTubeの字幕を要約しているだけというケースもあります。 […]
frame,iframe内を参照するには 今回はスクレイピングを行う上で、frameやiframe内の要素を参照する方法を紹介します。 結論、Page.getFrameTree、Page.createIsolatedWo […]
お問い合わせ・ご依頼はこちらから
