2026-08-08 –, TR514
維護一個爬蟲不難,但維護超過 100 個、針對不同金融機構網站的爬蟲,是完全不同等級的挑戰。
這場分享來自真實的 production 系統——一個持續從日本各大基金公司抓取 PDF 月報的 Rails
專案。當目標網站從 REST API 悄悄遷移到 Nuxt.js SPA、當基金的列表頁因為
ReactVirtualized 只渲染可見列導致找不到目標基金、當PDF版月報突然只剩 HTML
版的月報——你的 spider 就這樣靜靜壞掉了。
我會分享三種最常見的「壞法」與對應的 Ruby 解法、如何用 Module / Concern 組織大量
spider 的共用邏輯,以及最重要的工程判斷:什麼時候該修,什麼時候該直接刪掉。
Ruby 工程師,目前在5xruby開發團隊工作。日常工作橫跨後端 API、前端畫面渲染,對開發有趣又實用的工具這件事有偏執的興趣。