推 jej: 檔案從哪來？是隨時隨地一直寫，一天寫入一次嗎？ 02/21 18:32
→ jej: 解法很多種，但問題敘述不足 02/21 18:32
→ jej: 例如資料庫如果是oracle，也可以考慮SQL loader 02/21 18:32
→ jej: 或是用splunk收，在處理到資料庫 02/21 18:32
推 Chricey: 膠原蛋白 02/22 07:25→ ntpuisbest: 檔案是別人丟過來的，一天丟一次，寫好才丟過來 資 02/21 18:48
→ ntpuisbest: 料庫是MSSQL 02/21 18:48
推 ILoveAMD: mysql也有直接從檔案匯入的介面 02/21 19:17
推 Chricey: 接骨木功效 02/22 07:57→ MOONY135: 每處理多大檔案就計時 02/21 19:49
→ MOONY135: 一天一個檔 一個檔1gb？ 感覺請對方直接整理成csv你手動 02/21 19:51
→ MOONY135: import馬上就結束了 02/21 19:51
推 Kroner: 維他命C 02/22 08:36推 zonppp: txt 1gb...寫那麼大幹嘛? 02/21 20:10
→ BlacksPig: 一筆資料就1gb? 02/21 20:20
→ ntpuisbest: 一個月丟一次，為何那麼大因為是客戶基本資料 02/21 20:44
推 Chricey: 魚油 02/22 12:18推 ILoveAMD: mysqlimport 指令查一下 02/21 20:53
推 jej: 如果是已經整理好的客戶資料 02/21 21:09
→ jej: 用load data infile或是mtsqlimport 02/21 21:09
推 Chricey: GABA 02/22 16:42→ jej: 會比你與java快十倍以上 02/21 21:09
→ ntpuisbest: 不是一筆資料1gb，是一個檔案1gb,一個檔案大概300w 02/21 21:27
→ ntpuisbest: 筆資料吧 02/21 21:27
推 Chricey: 南瓜籽油功效 02/24 17:20→ ntpuisbest: 他們可能不願意弄成csv方式很傳統是用定義第幾個by 02/21 21:28
→ ntpuisbest: te到第幾個byte是第一個欄位，然後第幾個到第幾個 02/21 21:28
→ ntpuisbest: 是第二個欄位這樣 02/21 21:28
推 Kroner: uc2功效 02/24 17:24→ kkkoooiii2: 開機時間拉長其他程式吃記憶體導致執行時吃了 swap? 02/21 21:30
→ kkkoooiii2: 對 memory leak 有疑慮執行時就監看一下啊 02/21 21:32
→ superpandal: 指令寫的好都不會這麼慢 02/21 22:40
推 Chricey: 益生菌 03/02 08:14噓 B0988698088: 內存是什麼 02/21 22:46
→ MoonCode: 重開機這麼快 就寫個重開機的腳本不就好了 02/21 22:46
推 ILoveAMD: 固定長度更簡單 先awk 再import 去拉個屎就差不多了 02/21 22:46
→ Apache: profiler 直接開起來看bottleneck在哪裡啊== 02/21 22:58
→ burgess: 去瞭解jvm記憶體的部分 02/21 23:46
→ dalensona: java heap dump出來看看程式在幹嘛? 02/21 23:47
→ dalensona: 加上thread dump 看時間都花在甚麼程式上 02/21 23:48
推 lchcoding: 進程式，加log，做時間分析 02/22 05:40
→ lchcoding: 重開機前&後，各跑個兩三分鍾來比 02/22 06:01
推 Lipraxde: 比起重開機會變快，處理完要幾個小時是不是檢查一下算 02/22 07:25
→ Lipraxde: 法，還是哪個環節是 bottleneck 比較好...這時間拿去 t 02/22 07:25
→ Lipraxde: raining LLM 估計模型都能學會怎麼說話了 02/22 07:25
→ jhangyu: 連怎麼找bottle neck都不會…… 02/22 07:46
推 jej: 那就是用script分隔好格式後給mysqlimport用 02/22 07:57
→ jej: 速度仍然還是會比你用java快上10倍以上 02/22 07:57
→ jej: 如果你們公司有個資考量因素，就更不應該讓他成為檔案 02/22 08:36
→ jej: 可以的話，和對方系統直接資料庫對傳比較適合 02/22 08:36
→ jej: 這個解決方案的解決方式又更多了 02/22 08:36
推 ILoveAMD: 眼殘看成mysql mssql的話查一下BULK INSERT 02/22 09:13
推 gmoz: 確定一下是你轉檔部分慢 還是寫SQL慢 02/22 09:57
推 jack0204: 大概是一筆一筆寫才會這樣，浪費時間在連線上 02/22 12:18
推 abc21086999: 該不會真的一筆一筆寫進去吧... 02/22 14:17
推 tw11509: 300w筆不算多吧，個人覺得執行這麼久跟做法有關 02/22 14:44
推 xuzx: 會不會是寫完檔案沒有close? 02/22 16:42
→ cylee: 先轉檔成 CSV，再用 BULK INSERT 試試，才1GB 而已 02/23 10:22
推 cancelpc: 一筆一筆tx,或一次tx都會很慢 02/24 17:19
→ cancelpc: log也可以切到simple 02/24 17:20
→ cancelpc: 去問chatgpt吧，推文難教 02/24 17:21
→ cancelpc: 也可能java寫差了，不是循序處理，而是整個load進來 02/24 17:22
→ cancelpc: console跑完結束就釋放，怕一堆人用ap server下跑，就可 02/24 17:24
→ cancelpc: 能 02/24 17:24
噓 nanjolno: 內存 02/27 06:42
推 qmailtw: 先搞清楚是 Java code 還是 SQL. 先把 sql mark 掉，看是 03/02 08:14
→ qmailtw: 否還是慢 03/02 08:14