* Rakefile … TDiary::server_root に設置
 * tdiary/tasks …  TDiary::library_root に設置

なので、require_relativeだとNGですね。

…とここまで書いて気がついたのですが、 59f8f07186d669753f3957fbd944be77adb1d2ca のコミットでgit clone環境でもgem扱いにしたので、LoadErrorに落ちることはなくなっていました。
普通にrequireだけでOKですので、修正します。