馆最早可追溯到始建于1902年的三江师范学堂藏书楼。之后随着校名的变更，图书馆也几易其名。1915年，图书馆更名为南京高等师范学堂图书馆，1921年更名为东南大学图书馆。1923年，东南大学图书馆馆舍毁于火灾，馆藏图书未能幸免；后于1924年由齐孟芳（齐燮元之父）捐资修建新馆，命名为“孟芳图书馆”。1928年，孟芳图书馆更名为中央大学图书馆，1949年5月改为现名。1952年南京高等学校院系调整，原金陵大学文理科部分并入南京大学，金陵大学图书馆的文理科藏书也随之并入南大图书馆。1979年，南大图书馆新馆