经有固岗、席帽山、象山等称谓。明朝洪武十三年(1380年)扩建广州城，合宋代三城为一，又开辟城北的山麓，拓北城八百丈，凿象岗为北门。从此，象岗于越秀山分开成一孤立的山岗，因凿山而拓宽的大北外直街(今解放北路北段)，自明清以来一直是出入广州城北的重要通道。清朝顺治十年(1653年)在岗顶建拱极炮台，与邻近的保极、永康(又称四方炮台)、耆定三炮台连成守卫广州城北的防线。20世纪五、六十年代，象岗划为军事用地，到七十年代楼宇店铺已遍布岗麓，仅存顶部犹如一孤丘。八十年代初将岗顶削低17米拟建公寓，意外发现赵眜的陵墓