郡谢氏的谢朓担任宣城太守，在郡城之北的陵阳山修建一楼，称「高斋」。《宣城县志》记载：谢朓“视事高斋，吟啸自若，而郡亦治”。
沿革.唐代时，为纪念谢朓，因而重建此楼，以其在郡署之北，改称北望楼，或作北楼。人称谢朓楼、谢公楼。大诗人李白路过谢朓楼时，写作了《宣州谢朓楼饯别校书叔云》诗，并在诗中自比为谢朓，称「中间小谢又清发」。从此谢朓楼知名天下。唐咸通十五年（874年），宣州刺史独孤霖改建此楼，改称叠嶂楼。明嘉靖时宁国府知府方逢时重修，复称高斋楼。清康熙时，知府许廷式重修，称古北楼