赵佗曾在山上建有越王台，故越秀山古名越王山。明朝永乐年间，山上曾建有观音阁，又称观音山。由主峰越井岗及周围蟠龙岗、桂花岗、木壳岗、长腰岗、鲤鱼头岗等七个山岗和三个人工湖（东秀湖、南秀湖、北秀湖）组成。面积共86万平方米。越秀山是古代的海上战略重地，明初朱亮祖镇守广东省城，于洪武十三年（1380年）扩建广州城，将北城墻扩展到越秀山上，建修镇海楼，现为广州标志之一。半山曾建有学海堂文澜阁，文澜阁于清咸丰七年（1857年）被英法联军炮火轰断一石柱，到清同治元年（1862年）被台风尽毁，后改建文昌祠。龙济光