Nokogiriのtextメソッドは子孫要素まで結合されて困る RubyのNokogiriでHTMLをスクレイピングするとほぼ必ず使うメソッド「text」は、子孫要素全てのテキストを結合して取得する仕様となっています。そ […]
今年の4月に新卒でルーターに入社しました、エンジニアのHatanoです。今回はルーターへの入社経緯や新人研修等について書いていきたいと思います。よろしくお願いいたします。 入社経緯 家族の影響で昔からエンジニアになろうと […]
はじめに こんにちは、エンジニアのsassaです。 今回は、私自身が最近ヒヤリとした経験に基づき、API選定、特に「無料枠」の扱いについてお話ししたいと思います。APIを利用する個人開発者の方々にとって、他人事ではない重 […]
今回はMySQL（MariaDB）環境で不要なテーブルを見つける方法をご紹介します。 Performance Schemaをオンにする まずMySQLのPerformance Schemaを有効にします。若干パフォーマン […]
curlのレスポンスでheaderとbodyを分けて取得したい スクレイピングの際にはcurlコマンドを使うケースが多いですが、その際にレスポンスヘッダを取得したいケースがあります。 curl -i で、レスポンスヘッダ […]
はじめに 弊社では古くから運用しているプロジェクトなどでRuby2.4のような古いバージョンを利用しているプログラムがいくつか存在しています。そのようなレガシー環境では、最新のライブラリを使えない、あるいはパフォーマンス […]
データサイエンティスト泣かせのPDF 自治体や官公庁の多くはPDFで情報を公開しています。ところがPDFはほぼ印刷データに近いかたちで構造化データにはなっていません。エクセルやWordで無理やりPDFを開けばある程度は構 […]
はじめに こんにちは。エンジニアのmiyakawaです。 みなさん、古いバージョンのGoogle ChromeをSeleniumで動かしたい場面はありませんでしたか。 Railsの開発中に、CIだけで落ちるテストを発見し […]
近年ReactやVueなどクライアントサイドレンダリング(CSR)のサイトが多くなってきました。 それに伴い、NokogiriなどHTMLのDOMを参照するスクレイピングでは太刀打ちできないサイトが多くなりました。 今回 […]
はじめに 皆さんこんにちは。エンジニアの Hodoshima です。 今回は、システムの運用について、データベースとの接続が切れてしまった場合の処置について考える必要があったため、そのお話をします。 データベースの再接続 […]
お問い合わせ・ご依頼はこちらから
