カテゴリー: データ/フォーマット
ちょうどいいRuby CSVモジュールの使いどころ
初めまして。12月からrooterの学生アルバイトとして働いておりますmiyayamaと申します。今回は、研修の中で学んだRubyのCSVモジュールの使い方について書きたいと思います。 Ruby標準添付ライブラリーである […]
RFC4180だけにとどまらないCSVフォーマットのおすすめお作法
CSVファイルにはRFC4180という標準仕様があるのですが、やや広い定義となっています。 「RFC4180にしたがったCSVでやりましょう」だけではフォーマットが決まらないので、決めるポイントとおすすめ設定を紹介します […]
Google Apps ScriptのdoGetを使ってスプレッドシートの前処理
こんにちは、アルバイトのkoyamaです。 Googleスプレッドシートの内容をRubyのプログラム上で扱う時みなさんはどうしているでしょうか？ 以前私が紹介したgem、google-drive([入門編] Rubyから […]
YouTubeの限定公開動画広告をBERTで分類する
ルーターの伊崎です。今回は、弊社で実際に行っている、BERTによるYouTubeの広告分類についてお話いたします。 はじめに 弊社では、YouTubeの動画広告のスクレイピングを行っており、そこで得られたデータは弊社の広 […]
日本語（漢文系言語）で形態素解析
はじめまして、ルーターのアズマインと申します。今日は漢文系言語 x 形態素解析についてご紹介したいと思います。 形態素解析とは 機械学習で文章を扱うとき形態素解析は欠かせない作業です。コンピューターは数字しか扱えないため […]
Rubyでcsvファイルを横持ちから縦持ち構造に変換する
こんにちは。学生アルバイトのohkiです。みなさん、テーブル構造というとどんなものを思い浮かべるでしょうか？おそらく多くの方が横持ち構造を思い浮かべるのではないかと思います。確かに横持ち構造の方が見やすいですが、縦持ち構 […]
MySQL上の巨大なデータをストアドプロシージャで削除する
こんにちは！ルーターの伊崎です。 今回は、データの効率的な消し方と、SQLの機能であるストアドプロシージャをご紹介します。なお、今回データベースをMySQLとしていますが、細かい書き方は違えどデータベースの種類によらずに […]
PDFに埋め込まれたテーブルを、画像処理でパースする
はじめに こんにちは。アルバイトの近藤です。 突然ですが、HTMLからテーブルをパースしたいとき、どうしますか? そうです、HTMLパーサーを使いましょう。 RubyならNokogiriが、PythonならBeautif […]