喺明朝洪武十三年（1380年）嗰陣，由於個朱亮祖嚟準備將個廣州城整大佢，結果就將宋朝嗰三座城合埋咗一齊，重開發咗城嘅北邊成800幾丈噉多，由於城牆啱號跨過咗越秀山，所以就喺座山上面起咗棟五層樓。