今回はMySQL（MariaDB）環境で不要なテーブルを見つける方法をご紹介します。 Performance Schemaをオンにする まずMySQLのPerformance Schemaを有効にします。若干パフォーマン […]
curlのレスポンスでheaderとbodyを分けて取得したい スクレイピングの際にはcurlコマンドを使うケースが多いですが、その際にレスポンスヘッダを取得したいケースがあります。 curl -i で、レスポンスヘッダ […]
はじめに 弊社では古くから運用しているプロジェクトなどでRuby2.4のような古いバージョンを利用しているプログラムがいくつか存在しています。そのようなレガシー環境では、最新のライブラリを使えない、あるいはパフォーマンス […]
データサイエンティスト泣かせのPDF 自治体や官公庁の多くはPDFで情報を公開しています。ところがPDFはほぼ印刷データに近いかたちで構造化データにはなっていません。エクセルやWordで無理やりPDFを開けばある程度は構 […]
はじめに こんにちは。エンジニアのmiyakawaです。 みなさん、古いバージョンのGoogle ChromeをSeleniumで動かしたい場面はありませんでしたか。 Railsの開発中に、CIだけで落ちるテストを発見し […]
近年ReactやVueなどクライアントサイドレンダリング(CSR)のサイトが多くなってきました。 それに伴い、NokogiriなどHTMLのDOMを参照するスクレイピングでは太刀打ちできないサイトが多くなりました。 今回 […]
はじめに 皆さんこんにちは。エンジニアの Hodoshima です。 今回は、システムの運用について、データベースとの接続が切れてしまった場合の処置について考える必要があったため、そのお話をします。 データベースの再接続 […]
Canvaの無料枠のみを使ってデモ動画を作成する方法を紹介します。結論、無料枠でできることは字幕の挿入とカットです。なお、ブラウザ上で操作するデモ動画であれば、ズームした状態で動画を撮影すればズームのある動画になります。 […]
スクレイピング業務で一番使うのはSQL スクレイピング業務で一番使うのは実はSQLです。プログラムを作った後にまともにデータが入っているかどうか、ゴミデータなどが混じってないかどうかを確認します。 期待通りのデータかどう […]
PostgreSQLでmysql_fdwを使い、UTF8MB4の外部テーブルの文字化けを防ぐ方法 この記事では、PostgreSQLのプラグイン「mysql_fdw」を活用し、MySQLのテーブル（文字コードがUTF8M […]
お問い合わせ・ご依頼はこちらから
