跳到主要內容

database 和 raid 5

聽到 jnlin 說跑 MySQL 不要用 raid 5 後, 查了一些資料, 的確有不少人說這是 DBA (SA?) 的常識。最後詢問 skylight 一些 raid、硬碟的知識後, 總算弄明白原因。在這簡記一下。我相當不熟這些用詞, 以下極可能用錯名詞, 看時請小心, 有錯還請指正。

raid 5 在寫入資料時得先讀出原本的資料, 再重算 parity, 算 parity 本身不慢, 但卻因此多花一個讀取的動作 (7200 rpm 的 hd, 轉一圈要 8.3ms)。而 raid 1 不需要多花這個讀取, 所以寫入時比 raid 5 快。當然, 有不少方式降低 raid 5 寫入的負擔, 像用 cache 之後再補寫之類的, 不清楚這些解法的代價 (如硬體成本較高)。

而在讀取時, 若大多為 random access, 那 raid 5 或 raid 0 將資料分散到各顆硬碟也沒有幫助。甚至可能為了統一所有硬碟的讀取動作而比不做 raid 還慢 (不清楚會慢多少, 也許不嚴重)。

先看個會變快的例子。若下個 sql 從 table student 裡取出所有學生資料, 由於 raid 5 或 raid 0 已將資料分散到各硬碟裡, 可以同步讀回全部硬碟資料。理論上若讀入的檔案有 1G 大, 用 raid 5 分散到五個硬碟裡, 就能快上四倍 (用 raid 0 就是五倍)。

然而, 常見的讀資料情境卻是這樣。下個 sql 從 table course_student 裡取出所有修「音樂」的 student_id, 再用 student_id 取出 table student 裡的資料。可以想見, 單筆 student data row 的資料量很小, 但散佈在 table student 各處 (也就散落在硬碟各處)。於是 raid 5 或 raid 0 無用武之地, 得帶著全部硬碟一起 seek & rotate 到第一個 student data row 讀完 block 內容, 再跳到下一個 student data row, ..., 沒有省到時間。再加上 write penalty, 結果就是在 raid 5 上跑 database 反而變慢了。

若用 raid 1 的話, 寫入時仍是一般速度, 挺多為了同步兩顆硬碟而慢一點點。若 raid controller 寫得好, 讀取時甚至能分散到兩顆同樣的硬碟裡讀。至於 raid 10, 應該也會因大量的 random access 無法善用 raid 0 來加快讀取。

btw, 還有一些零碎的知識得弄清楚, 我的大概理解如下:
  • 硬碟有各自的 controller, 硬碟到 RAM 的頻寬遠大於全部硬碟的輸出率。所以若能用 sequential read 讀大量資料, raid 5 或 raid 0 可以快上數倍 (看用幾個硬碟)。
  • 硬碟讀和寫的速度差不多。
  • 硬碟慢在 seek (移動讀取頭到目標 track) 和 rotation (轉動讀取頭到目標 sector), 兩者時間差不多。
  • ZFS 自己搞 file system 和 raid control, 於是有機會做得比分頭搞好。
參考資料

    留言

    這個網誌中的熱門文章

    (C/C++ ) 如何在 Linux 上使用自行編譯的第三方函式庫

    以使用 LevelDB 為例。 抓好並編好相關檔案,編譯方式見第三方函式庫附的說明:$ ls include/ # header files leveldb/ $ ls out-shared/libleveldb.so* # shared library out-shared/libleveldb.so@ out-shared/libleveldb.so.1@ out-shared/libleveldb.so.1.20* 下面的例子用 clang++ 編譯,這裡用到的參數和 g++ 一樣。 問題一:找不到 header$ clang++ sample.cpp sample.cpp:5:10: fatal error: 'leveldb/db.h' file not found #include "leveldb/db.h" ^ 1 error generated. 解法:用 -I 指定 header 位置 問題二:找不到 shared library$ clang++ sample.cpp -I include/ /tmp/sample-2e7dd8.o: In function `main': sample.cpp:(.text+0x1e): undefined reference to `leveldb::Options::Options()' sample.cpp:(.text+0x6f): undefined reference to `leveldb::DB::Open(leveldb::Options const&, std::string const&, leveldb::DB**)' sample.cpp:(.text+0x10c): undefined reference to `leveldb::Status::ToString() const' sample.cpp:(.text+0x7d0): undefined reference to `leveldb::Status::ToString() const' clang: error: linker command failed with exit code 1 (u…

    熟悉系統工具好處多多

    記一下以前很困擾, 現在秒殺的小事。 更新這篇的時候, 忘了函式庫用的 man page 裝在那個 package。以前就會想辦法 google, 運氣好一下會找到, 運氣不好會多找一會兒。 這回我想到新作法:$ strace -e open man 3 printf > /dev/null # 發現是讀 /usr/share/man/man3/printf.3.gz $ dpkg --search /usr/share/man/man3/printf.3.gz # 找到套件名稱 manpages-dev $ aptitude show manpages-dev # 確認描述符合, 收工

    virtualbox 使用 USB 裝置

    2012-12-16 更新 現在 (4.x 版) 似乎無需做任何設定, 只要有裝 Oracle VM VirtualBox Extension Pack, 在 VirtualBox 視窗右下角按 USB 的圖示, 再點目標裝置, 即可加入或移除該裝置 同一時間只有 host 或 guest 可擁有該裝置, 所以從 guest OS 移除, 相當於接回 host OS 目前 VirtualBox 只支援 USB 2.0 的插槽, 若偵測不到時, 注意一下是否為這個問題 有時拔拔插插, VirtualBox 會進入奇怪的狀態, 接上去 guest OS 無法連接且跳出 device is busy 的錯誤訊息。試看看拔除該裝置, 重開 guest OS (續上則) 若重開 guest OS 無效, 並且 host OS 已移除該裝置, VirtualBox 的 USB 清單卻仍顯示 "captured", 試看看拔除該裝置, 重開 host OS原文網路上搜一下, 比較多是 Ubuntu 當 host 的解法, 我的情況是 Win7 當 host, Ubuntu 當 guest。 這兩篇說明很詳細《Learn How to Set Up USB and Networking Options in VirtualBox》《幻影千瞳的部落格: VirtualBox 使用筆記(二):使用 USB 裝置》 現在的版本圖形介面很好用了, 不用像第二篇說的那樣用指令操作。這裡記下我的操作步驟: 關掉 guest OS 在 VirtualBox 選單, 選擇 guest OS -> Settings -> USB -> Enable USB 2.0 會出現訊息框, 說明要安裝 Oracle VM VirtualBox Extension Pack。下載後安裝它 host OS 插入 USB 隨身碟 在 VirtualBox 選單, 選擇 guest OS -> Settings -> USB, 點右邊有綠色 "+" 的 USB 頭的圖示, 選擇該 USB 隨身碟, 加入它的 filter 從 host OS 移除 USB 隨身碟 開啟 guest OS 插入 USB 隨身碟, 於是 guest OS 會自動偵測…