迁至今广仁路，但明朝洪武元年（1368年）毁于大火，洪武十年（1377年）迁至坡山至今。明朝成化五年（1469年）和清朝雍正元年（1723年）曾进行重修。中华民国九年（1920年）到十二年（1923年）间，广州市政厅为北伐筹备军饷，接孙中山令将市内无着庵、药师庵等7座庙庵堂寺观及产业一律变卖，五仙观也在其中，观内道士被遣散。参见：护法运动至1920年代后期，孙科三度出任广州市长，又召集香山同乡会集资，把五仙观的房产全部买回，在观内仙迹池畔兴建中山同乡会小学。1929年广州市财政局提交一八六次广州市行