2010年4月17日 星期六

database 和 raid 5

聽到 jnlin 說跑 MySQL 不要用 raid 5 後, 查了一些資料, 的確有不少人說這是 DBA (SA?) 的常識。最後詢問 skylight 一些 raid、硬碟的知識後, 總算弄明白原因。在這簡記一下。我相當不熟這些用詞, 以下極可能用錯名詞, 看時請小心, 有錯還請指正。

raid 5 在寫入資料時得先讀出原本的資料, 再重算 parity, 算 parity 本身不慢, 但卻因此多花一個讀取的動作 (7200 rpm 的 hd, 轉一圈要 8.3ms)。而 raid 1 不需要多花這個讀取, 所以寫入時比 raid 5 快。當然, 有不少方式降低 raid 5 寫入的負擔, 像用 cache 之後再補寫之類的, 不清楚這些解法的代價 (如硬體成本較高)。

而在讀取時, 若大多為 random access, 那 raid 5 或 raid 0 將資料分散到各顆硬碟也沒有幫助。甚至可能為了統一所有硬碟的讀取動作而比不做 raid 還慢 (不清楚會慢多少, 也許不嚴重)。

先看個會變快的例子。若下個 sql 從 table student 裡取出所有學生資料, 由於 raid 5 或 raid 0 已將資料分散到各硬碟裡, 可以同步讀回全部硬碟資料。理論上若讀入的檔案有 1G 大, 用 raid 5 分散到五個硬碟裡, 就能快上四倍 (用 raid 0 就是五倍)。

然而, 常見的讀資料情境卻是這樣。下個 sql 從 table course_student 裡取出所有修「音樂」的 student_id, 再用 student_id 取出 table student 裡的資料。可以想見, 單筆 student data row 的資料量很小, 但散佈在 table student 各處 (也就散落在硬碟各處)。於是 raid 5 或 raid 0 無用武之地, 得帶著全部硬碟一起 seek & rotate 到第一個 student data row 讀完 block 內容, 再跳到下一個 student data row, ..., 沒有省到時間。再加上 write penalty, 結果就是在 raid 5 上跑 database 反而變慢了。

若用 raid 1 的話, 寫入時仍是一般速度, 挺多為了同步兩顆硬碟而慢一點點。若 raid controller 寫得好, 讀取時甚至能分散到兩顆同樣的硬碟裡讀。至於 raid 10, 應該也會因大量的 random access 無法善用 raid 0 來加快讀取。

btw, 還有一些零碎的知識得弄清楚, 我的大概理解如下:
  • 硬碟有各自的 controller, 硬碟到 RAM 的頻寬遠大於全部硬碟的輸出率。所以若能用 sequential read 讀大量資料, raid 5 或 raid 0 可以快上數倍 (看用幾個硬碟)。
  • 硬碟讀和寫的速度差不多。
  • 硬碟慢在 seek (移動讀取頭到目標 track) 和 rotation (轉動讀取頭到目標 sector), 兩者時間差不多。
  • ZFS 自己搞 file system 和 raid control, 於是有機會做得比分頭搞好。
參考資料

    沒有留言:

    張貼留言

    在 Fedora 下裝 id-utils

    Fedora 似乎因為執行檔撞名,而沒有提供 id-utils 的套件 ,但這是使用 gj 的必要套件,只好自己編。從官網抓好 tarball ,解開來編譯 (./configure && make)就是了。 但編譯後會遇到錯誤: ./stdio.h:10...