老馆为原国立中山大学石牌校区的图书总馆，奠基于1936年11月，由著名图书馆学专家、国立中山大学图书馆主任杜定友教授主持，著名建筑设计师杨锡宗设计，广州兴兴建筑公司承建。由于石牌校区前期的建设工程拖欠了建筑公司过多的款项，工程速度缓慢。1937年8月日军飞机对中大进行轰炸，中山大学疏散至他地，建筑工程被迫停止；1938年广州沦陷后，未完工的图书馆被日军占为马厩。该馆原设计为三层半中国宫殿式建筑，当时仅完成了首层楼面的混凝土工程。1945年广州光复后，杜定友拟于1946年完成图书馆的建筑工程，但因筹款无门，该项计划未能完成。