督陶澍于1838年建立，以《晋书·陶侃传》中“大禹圣者，乃惜寸阴”为名。书院教授经、史、诗、赋，不讲八股文。学生无衣食补贴，但有奖金，每月考试一次，超等第一至第十名获银2-4两不等，十名外1两，特等5钱。书院山长为薛时雨，教师有李联琇、俞正燮、胡培翚、冯桂芬等。咸丰年间毁于战火，1866年重建，1902年增葺，于该书院开办上元学堂。1907年，两江总督端方决定在惜阴书院校址创办江南图书馆，缪荃孙出任总办。1908年，兴建藏书楼两进两楼44间及附属建筑，总建筑面积2018平方米，1909年竣工。1910年