COSCUP 2023

在 7 * 24 API 巨量 query DB 的服務中，PostgreSQL 中 table 的更新與清除機制優化
2023-07-30, 13:15–13:45 (Asia/Taipei), TR 410
Language: Traditional Chinese (Taiwan)

在 7 * 24 API 巨量 query DB 的服務中，更新 table 或是 delete table 中 data 時會有鎖表的問題，導致 API 發查失敗，為了解決這個問題，我們團隊在這段問題上做了一先研究與實驗，在實務上解決這些問題，而且將 PostgreDB 的效能優化，table的存取時間從6小時大幅下降到6分鐘，減少了98.4%的存取時間，也是放了許多 DB 的使用空間。
背景知識: 有使用DB的經驗尤佳。

有使用DB且在處理 DB 更新與清除上有效能議題的使用者
希望他們在演講中能得到一些觀念，如下
1. 了解 DB 刪除指令的比較 (delete、truncate、drop) 的一些原理
2. 了解partition table 更新機制的概念
3. PostgreDB什麼情況下會發生鎖表
4. 如何解決實務上的狀況

Difficulty –

中階

 Target Audience –

背景知識: 有使用DB的經驗尤佳
Kater Lin
  • 金融業－資料分析師　2.5y
  • Designed and developed an ML platform to serve recommendation models by using Airflow for pipeline management, Spark and Kubernetes for feature engineering and training, Kafka, PostgresDB, Redis, REST API for the model serving.
  • Pushed to using Spark in the division, solve their problem about performance issues.