957年，新黑龙江省委、省政府决定在哈尔滨筹建新的黑龙江省图书馆。1961年，8600多平方米的馆舍竣工。1962年，黑龙江省图书馆哈尔滨新馆正式对外开放。2000年5月，由于原有的馆舍面积不能适应时代的需要，黑龙江省图书馆在哈尔滨市南岗区长江路毗邻龙塔处开始建设新馆，原馆址转为黑龙江省档案馆用。2003年10月，新馆建成，造型寓意“文化方舟”。现馆址建筑面积3.4万平方米，设计藏书规模350万册，阅览座位1700余个。