晋朝时是珠江北岸的渡口码头，古称“坡山古渡”。坡山前的惠福路在唐朝时是沿江商业区，是广州对外贸易和外侨聚居的地区。南汉时期曽凿平坡山，但至今仍成高坡状，是广州市中心城区唯一残存的天然岩石露头。明朝在此地建钟楼（名为禁钟楼，又称岭南第一楼），其后又建五仙观。