南葵文庫
文庫の建物は、東大図書館の分館として使用されたのち、明治32年(1899年)竣工の旧館を残して取り壊され、旧館は1933年(昭和8年)に頼倫の子・頼貞の別邸があった大磯に移築された。その一部であるルネサンス様式の洋館は1987年(昭和62年)に移修改築されて熱海市伊豆山のホテル「VILLA DEL SOL」となり、2008年(平成20年)には国の登録有形文化財に登録されている。2016年(平成28年)現在、星野リゾート所有。
飯倉の跡地には現在外務省飯倉公館と麻布台ヒルズ森JPタワーが建っている。この地にはかつて「日本郵政グループ飯倉ビル(旧郵政本省庁舎)」も建っていた。
この図書館は、一時期一般に公開されたこともあったが、関東大震災があった翌年の大正13年(1924年)に、蔵書は火災で全焼した東京帝国大学の附属図書館に寄贈され、文庫は閉鎖された。ただし長子の徳川頼貞が収集した音楽資料コレクションは、「南葵楽堂図書部」として旧南葵文庫事務所で公開された。なお、東大図書館に寄贈された資料の一部はその後デジタル化され、2022年(令和4年)に公開されている。