弊社では開発言語として主にRubyを使用し、クローリングやスクレイピングを業務として行っています。その過程で、プログラム内でURLを扱うことが多々あります。特にURLエンコードは正確なデータ取得や通信の安全性を保つために […]
こんにちは、アルバイトのmihataです。 以前、Rubyで最速でエクセルファイルを出力するコードを作成しました。今回は、そのPython版を作成しました。また、このコードはLinux、Windowsどちらの環境でも動作 […]
はじめに こんにちは。エンジニアのmiyakawaです。 前回のブログでは、Web上でグラフでデータを伝える手法としてChart.jsを説明しました。 前回のブログではChart.jsのメジャーバージョン4（4.x）の説 […]
rclone copyについて rcloneは、主にクラウドストレージ間を同期をとるために用いられ、対応するクラウドサービスが多い。 このrcloneで、ファイル・ディレクトリのコピーコマンドとしてrclone copy […]
Excelで型変換を行いたいときがあるかと思います。今回は文字列型から数値型、日付型への変換の方法とその確認についてまとめました。 ▼ 目次 文字列から数値型に変換する方法 文字列から日付型に変換する方法 終わりに 以下 […]
最初に みなさん、こんにちは。エンジニアの Hodoshima です。 弊社では、Ruby で記述されたコードにおいて、データベースとのやりとりを行うために、ActiveRecord という gem を使っています。 A […]
動画要約っていうか字幕スクレイピング＆要約ですよね 生成AIを使ったYouTube動画要約ツールをみかけますが、実態としては動画本体を解釈しているのではなくYouTubeの字幕を要約しているだけというケースもあります。 […]
ルーターエンジニアのtoyamaです。今回はポスグレのスキーマについてです。 ずっとMySQLを使ってきたため、PostgreSQLのスキーマについてあまり理解せずつかっていたのですが、ようやく理解できてきたので情報をま […]
frame,iframe内を参照するには 今回はスクレイピングを行う上で、frameやiframe内の要素を参照する方法を紹介します。 結論、Page.getFrameTree、Page.createIsolatedWo […]
はじめに Dockerは軽量なコンテナ仮想環境で、アプリケーションを構築、テスト、デプロイできるプラットフォームです。 このプラットフォームには、Docker Engine, Docker CLI, Docker Com […]
お問い合わせ・ご依頼はこちらから
