カテゴリー : データベース
山本ゆうごです。データベースから大量のテキストを出力する際のTipsをご紹介します。 SELECT … INTO OUTFILE の使いづらさ mysqlからCSV出力する際のサンプルとして SELECT … I […]
はじめに こんにちは、エンジニアのmiyakawaです。 DBでテーブルを作成するときに主キーが必要になりますが、主キーに自動でユニークな識別子を与える方法としてAUTO_INCREMENTにより自動採番された連番を用い […]
はじめに こんにちは、ルーターのmiyakawaです。 データ集計時、どのような傾向が見られるかを確認する際に日付ごとに分類することがあります。職務ではスクレイピングしているデータの取得日時を日付ごとに集計することで新し […]
こんにちは。エンジニアの佐々です。 ルーターが提供する「アドクロール」は、国内最大級の対応媒体数・収集クリエイティブ数のインターネット広告・アプリ広告クリエイティブデータベースです。膨大なデータを効率良く検索できるよう、 […]
はじめに こんにちは、エンジニアのhyodoです。 弊社では広告クリエイティブ収集サービス「アドクロールクラウド」のデータとして膨大な広告データを蓄積しています。 （*2023年9月時点での広告データの総取得数は6.2億 […]
ルーターエンジニアの Sasaokaです。 スクレイピングを行っていると避けて通れないのが、取得したデータのクレンジング処理です。簡単なところで行くと、取得したデータの前後に含まれる空白文字除去から始まり、表記の揺れを如 […]
mysqldumpのinsertを1000件ずつコミットする きっかけ mysqldumpを取り込む際の悩みとして、一斉に全てのレコードを取り込んでしまうとメモリが溢れてしまう場合があります。今回はダンプファイルのins […]
Mroongaのエスカレーションをやめた話 弊社のサービスであるアドクロールの全文検索エンジンにMroongaを使用しています。Mroongaは国産のオープンソース全文検索エンジンで、メンテナーも日本人ということもあり日 […]
はじめに こんにちは，学生アルバイトのYamamotoです． 今回は，RubyのActiveRecordに関するお話です．ActiveRecordは，一言で表すとRubyとSQLの架け橋のようなもので，これを用いることで […]
こんにちは、学生アルバイトのkyonoです。 冬に入る熱々の風呂は堪らないものです。 入浴のしばらく前に部屋の窓を開けて体を敢えて冷やし、着替えも箪笥から出しておき、ビールやハイボールなど炭酸系の酒が冷蔵庫に眠っているこ […]
お問い合わせ・ご依頼はこちらから
