カテゴリー: データ/フォーマット
バイナリとPopplerによるPDFファイル内の画像検出
こんにちは。学生アルバイトのohkiです。スクレイピングをしていると、欲しいデータがexcelやPDFファイル形式になっていて、パースに苦戦することはありませんか？(excelファイルの詳しいパース方法はこちら)その中で […]
ちょうどいいRuby CSVモジュールの使いどころ
初めまして。12月からrooterの学生アルバイトとして働いておりますmiyayamaと申します。今回は、研修の中で学んだRubyのCSVモジュールの使い方について書きたいと思います。 Ruby標準添付ライブラリーである […]
RFC4180だけにとどまらないCSVフォーマットのおすすめお作法
CSVファイルにはRFC4180という標準仕様があるのですが、やや広い定義となっています。 「RFC4180にしたがったCSVでやりましょう」だけではフォーマットが決まらないので、決めるポイントとおすすめ設定を紹介します […]
Google Apps ScriptのdoGetを使ってスプレッドシートの前処理
こんにちは、アルバイトのkoyamaです。 Googleスプレッドシートの内容をRubyのプログラム上で扱う時みなさんはどうしているでしょうか？ 以前私が紹介したgem、google-drive([入門編] Rubyから […]
YouTubeの限定公開動画広告をBERTで分類する
ルーターの伊崎です。今回は、弊社で実際に行っている、BERTによるYouTubeの広告分類についてお話いたします。 はじめに 弊社では、YouTubeの動画広告のスクレイピングを行っており、そこで得られたデータは弊社の広 […]
日本語（漢文系言語）で形態素解析
はじめまして、ルーターのアズマインと申します。今日は漢文系言語 x 形態素解析についてご紹介したいと思います。 形態素解析とは 機械学習で文章を扱うとき形態素解析は欠かせない作業です。コンピューターは数字しか扱えないため […]
Rubyでcsvファイルを横持ちから縦持ち構造に変換する
こんにちは。学生アルバイトのohkiです。みなさん、テーブル構造というとどんなものを思い浮かべるでしょうか？おそらく多くの方が横持ち構造を思い浮かべるのではないかと思います。確かに横持ち構造の方が見やすいですが、縦持ち構 […]
行方向が順不同のcsvファイルの差分をrubyで見る
こんにちは。学生アルバイトのohkiです。最近データを扱うということでは、生成したcsvファイルの差分を確認したいということがよくあります。テキストの差分を比較するツールは世の中たくさんありますが、それを用いてしまうと行 […]