喺明朝洪武十三年（1380年）嗰陣，由於個朱亮祖嚟準備將個廣州城整大佢，結果就將宋朝嗰三座城合埋咗一齊，重開發咗城嘅北邊成800幾丈噉多，由於城牆啱号跨過咗越秀山，所以就喺座山上面起咗棟五層樓。由於嗰陣時呢間嘢啱好係睇到好大個海響度，所以咪改咗個名嗌「鎮海樓」囉。呢間嘢雖然話喺14世紀末嗰陣都被人搞咗單火燭或人為破壞。但係間大樓喺明朝嘅嘉靖年間嗰陣重新裝修過，不過到咗清朝，佢就因為三藩之亂嗰單嘢，結果就冧咗；後嚟到咗康熙26年（1687年）又重新裝修過；到咗民國統治嗰陣又被桂系軍閥搞冧咗。到咗1928年重新裝修嗰陣，佢就將棟樓入面嘅木結構，改咗用鋼筋水泥混凝土嘅結構，而磚石牆就用返之前明朝嗰陣嘅料，佢重引入咗石灣彩釉陶燒嚟做瓦脊同瓦角嘅鰲魚裝飾。喺1929年開始，呢度係廣州市市立博物院。到咗1950年就改咗名嗌廣州博物館。1989年6月就加咗入去廣東省文物保護單位（3-27），重喺1996年被人揀咗係廣州十大旅遊嘅其中一度靚景。到咗2013年3月，呢間嘢被定為第七批全國重點文物保護單位。