跳到主要內容

加速 linking time

頻繁修改一點程式又要執行看結果時, 主要的時間都花在 linking。這時才體會到省下 linking time 也是很重要的事。

這篇提到兩個減少 linking time 的做法

  • 使用 ramdisk
  • gold

我本來就有用 SSD, 改將編譯結果全放到 ramdisk 後, 提昇的效果不怎麼明顯。到是用 gold 後減少了一半的 linking 時間。

不過 gold 也不是那麼完美, 這篇提到一些問題。我自己用的時候發覺滿常遇到 ld 可以編, 但 gold 不行。最後的解套方式是寫個小 script 切換 /usr/bin/ld 連到的程式。不常編的東西就暫時換回 ld 連結個一次就好。

另外 jserv 提到 gcc 有命令列參數可直接指定用那個 linker (ref.)。wens 則查到 Debian/Ubuntu changelog 裡有寫 下可用 -B/usr/lib/compat-ld-B/usr/lib/gold-ld for ld.gold

順便 google 一下看怎麼查 changelog, 似乎是看 /usr/share/doc/binutils/changelog.Debian.gz 或用 aptitude changelog PKG, 不過這兩個作法都只有最近的 changelog, 沒有完整記錄, 像查 binutils 時就沒有找到上面提的參數說明。

留言

  1. (@fcamel: 以下有點耗時間,你有空再看)

    從 BFD ld 轉移到 gold 最常見的問題,是:https://fedoraproject.org/wiki/UnderstandingDSOLinkChange
    Fedora 為了未來能將系統 linker 預設成 gold,在 2009 年底將 BFD ld 的預設行為改了(--no-add-needed),並將因此暴露的全部 link failure 也都改了。(當然很可能 Fedora 的這些修改,upstream 還沒收,或者還沒從 upstream 再流到 Ubuntu 裡面)

    其他已知不能用 gold 是例如 glibc 與 Linux kernel (以修好?)等。它們都有很棒(!)的 linker script,你大概不會遇到。

    Gold 的作者,Ian Lance Taylor 在 binutils mailing list 上回 gold 問題相當積極,如果你在 sourceware.org file bug 他就會看到。但是他會想要你用 binutil CVS 試試看: http://sourceware.org/git/?p=binutils.git;a=summary

    我還是覺得 Fedora 下 GNU 開發工具、qemu、OpenJDK 跟 Eclipse 等都維護的比其他 distro 較好。當然這是因為 Red Hat 內部長期有 team 參預這些專案,那些 developer 平日就是用 Fedora 參加 upstream 開發,且 team 中會指定人當 Fedora 下的 package maintainer.

    回覆刪除
  2. 謝啦, 我也有興趣了解為啥 ld 可以連結的 gold 不行, 待其它東西先惡補完, 再來看看這些東西。

    至於 distribution, 感覺上是原本熟什麼, 大概就會一直用下去。之前也想過要玩看看別套, 比方說 gentoo 之類的。看了 stackoverflow 上的一些建議, 發覺深入研究同一 distribution 產生和管理套件的機制, 感覺比多玩一套來得實用, 也能學到更深的東西。所以短時間內仍會專注在 Ubuntu 上吧

    回覆刪除
  3. 選擇 distribution 最合理的方法是跟你的 team 用同一版,不然跟離你最近的 Linux 專家用同一版 :)

    不過如果你有天看到新聞『Red Hat 獲利衰退』就要想到整個 Linux 與 open source 圈原本用來 fund 這些基礎建設專案的 business model 出問題了。如果新的競爭者也開始大力僱用 upstream developer 開發同樣的專案倒還好,但依我估會比 Oracle 併購 Sun 的過程慘。

    回覆刪除
  4. 再次看到這篇 決定回一下

    bfd可以, gold不行, 其實就差在他們支援的東西不一樣, 以及他們的預設值不一樣. 預設值像是 Scott 講的 --no-add-needed.
    (其實我現在編程式都會自己加這個, 包套件不小心拉到的dependency比較少, 不過很高興的是 debhelper dh_strip也會幫你做檢查並且哀哀叫了 XD)

    關於link time很久的問題, 要很久大概就是你的symbol很多很多, 程式很肥. 如果是別人的東西, 那也只能概括承受.
    如果是自己寫的, 那是不是要思考一下, 是不是哪裡做錯了?

    1.是不是export太多symbol?
    library應該是個黑盒子. 黑盒子就該有黑盒子的樣子, 只提供必要的介面, 而不是個透明盒子.
    該設成static就設成static. visibility該設成hidden就不要是default. C++ symbol 更多更複雜, 影響也更大.

    2.是不是有circular dependency? link的順序有沒有問題?
    有circular dependency, 就得用 --start-group, --end-group來處理, linker就得花時間一直找, 找到symbol都找到才行. 如果你拉了很多很肥的library, 那不就慘了.
    能夠切乾淨的東西就要把他切乾淨.
    切不乾淨, 是不是可以考慮合併?

    以上是比較從軟體工程(?)的角度去看

    回覆刪除
  5. 若是討論「切乾淨」與否的話, 有點像討論寫程式時 scope 要怎麼設, 怎麼減少模組之間的相依性。我覺得有一些 sense 的人都會想盡力做好這點

    不過現實是, 在功力到那個水準以前, 也只能盡量做, 並容忍在成長的時期中寫出的半漿糊碼, 然後變成 legacy code。待功力進步後, 因為有 legacy code, 仍只能盡量做, 減少新的半漿糊碼, 以及慢慢消滅既有的半漿糊碼。

    加上不斷地會有新人, 也不斷地會增加 legacy code, 於是永遠會有這些議題在。

    以我自己來說, 寫 python 或 java 時比較有能力控制 dependency; 寫 C/C++ 的話, 在熟悉語言的特性和慣用的技巧前, 就比較難控制

    回覆刪除

張貼留言

這個網誌中的熱門文章

virtualbox 使用 USB 裝置

2012-12-16 更新 現在 (4.x 版) 似乎無需做任何設定, 只要有裝 Oracle VM VirtualBox Extension Pack, 在 VirtualBox 視窗右下角按 USB 的圖示, 再點目標裝置, 即可加入或移除該裝置 同一時間只有 host 或 guest 可擁有該裝置, 所以從 guest OS 移除, 相當於接回 host OS 目前 VirtualBox 只支援 USB 2.0 的插槽, 若偵測不到時, 注意一下是否為這個問題 有時拔拔插插, VirtualBox 會進入奇怪的狀態, 接上去 guest OS 無法連接且跳出 device is busy 的錯誤訊息。試看看拔除該裝置, 重開 guest OS (續上則) 若重開 guest OS 無效, 並且 host OS 已移除該裝置, VirtualBox 的 USB 清單卻仍顯示 "captured", 試看看拔除該裝置, 重開 host OS原文網路上搜一下, 比較多是 Ubuntu 當 host 的解法, 我的情況是 Win7 當 host, Ubuntu 當 guest。 這兩篇說明很詳細《Learn How to Set Up USB and Networking Options in VirtualBox》《幻影千瞳的部落格: VirtualBox 使用筆記(二):使用 USB 裝置》 現在的版本圖形介面很好用了, 不用像第二篇說的那樣用指令操作。這裡記下我的操作步驟: 關掉 guest OS 在 VirtualBox 選單, 選擇 guest OS -> Settings -> USB -> Enable USB 2.0 會出現訊息框, 說明要安裝 Oracle VM VirtualBox Extension Pack。下載後安裝它 host OS 插入 USB 隨身碟 在 VirtualBox 選單, 選擇 guest OS -> Settings -> USB, 點右邊有綠色 "+" 的 USB 頭的圖示, 選擇該 USB 隨身碟, 加入它的 filter 從 host OS 移除 USB 隨身碟 開啟 guest OS 插入 USB 隨身碟, 於是 guest OS 會自動偵測…

(C/C++ ) 如何在 Linux 上使用自行編譯的第三方函式庫

以使用 LevelDB 為例。 抓好並編好相關檔案,編譯方式見第三方函式庫附的說明:$ ls include/ # header files leveldb/ $ ls out-shared/libleveldb.so* # shared library out-shared/libleveldb.so@ out-shared/libleveldb.so.1@ out-shared/libleveldb.so.1.20* 下面的例子用 clang++ 編譯,這裡用到的參數和 g++ 一樣。 問題一:找不到 header$ clang++ sample.cpp sample.cpp:5:10: fatal error: 'leveldb/db.h' file not found #include "leveldb/db.h" ^ 1 error generated. 解法:用 -I 指定 header 位置 問題二:找不到 shared library$ clang++ sample.cpp -I include/ /tmp/sample-2e7dd8.o: In function `main': sample.cpp:(.text+0x1e): undefined reference to `leveldb::Options::Options()' sample.cpp:(.text+0x6f): undefined reference to `leveldb::DB::Open(leveldb::Options const&, std::string const&, leveldb::DB**)' sample.cpp:(.text+0x10c): undefined reference to `leveldb::Status::ToString() const' sample.cpp:(.text+0x7d0): undefined reference to `leveldb::Status::ToString() const' clang: error: linker command failed with exit code 1 (u…

解決 undefined symbol / reference

C++ 新手上路, 有錯還請幫忙指正。 基本觀念相較於 script language 或 Java 來說, C/C++ 有完整的「編譯 -> 連結 -> 執行」三個階段, 各階段都可能發生 undefined symbol。在解決惱人的 undefined symbol 前, 得先明白整個編譯流程: 編譯 .c / .cpp 為 .o (object file) 時, 需要提供 header 檔 (用到 gcc 參數 -I)。事實上, 在編譯單一檔案時, gcc/g++ 根本不在意真正的 symbol 是否存在, 反正有宣告它就信了, 所以有引對 header 即可。這也是可分散編譯的原因 (如 distcc ), 程式之間在編譯成 .o 檔時, 並沒有相依性。 用 linker (ld 或 gold) 將 *.o 連結成 dynamic library 或執行檔時, 需要提供要連結的 library (用到 gcc 參數 -L 指定目錄位置, 用 -l 指定要連什麼函式庫)。不同於前一步, 此時 symbol 一定要在。 執行的時候, 會再動態開啟 shared library 讀出 symbol。換句話說, 前一個步驟只是檢查是否有。檢查通過也連結成 executable 或 shared library 後, 若執行時對應的檔案不見了, 仍會在執行期間找不到 symbol。若位置沒設好, 可能需要用 LIB_LIBRARY_PATH 指定動態函式的位置, 但不建議這麼做, 最好在執行 linker 時就指定好位置。原因見《Why LD_LIBRARY_PATH is bad》。明白這點後, 就看 undefined symbol 發生在那個階段, 若是編 object file 時發生, 就是沒和編譯器說 header 檔在那, 記得用 -I 告訴它。若在 linking 時發生, 就要同時設好 -L 和 -l。不過難就難在要去那找 undefined symbol 的出處。 解決問題的流程首先是判斷 symbol 是不是自己用到的原始碼裡, 可配合 id-utils 找看看 (我是用 gj, 比較方便一點)。或是看有沒有 man page, 有 man page 的話, 裡面會記錄用到的 header 和該怎麼下連結參數。若在專案裡找不到, …