902年，钟山书院改为江南高等学堂，任学堂监督。癸卯学制实施后，废古江宁府学，两江总督府拟在江宁“先办一大师范学堂，以为学务全局之纲领”，1902年5月出任学堂总稽查，负责筹建三江师范学堂，并与徐乃昌、柳诒征等七教席赴东洋考察学务，学堂遂仿日本东京大学，在南京国子监旧址筑校，以后更名两江师范。1906年得悉藏书家丁丙去世，他的“八千卷楼”藏书，被卖给日本的“静嘉堂文库”，缪荃荪以七万多元将书籍买下，运到南京。1907年受聘筹建江南图书馆（今南京图书馆），出任总办。1909年受聘创办北京京师图书馆