海东，西庙不如东庙雄。南来若不到东庙，西京未睹建章宫。」由此推测西庙在宋代经已存在。根据民间传说，贞观二十一年（647年）达奚司空从印度摩揭陀国乘船到广州，带来波罗树种在庙前，后化为神，所以此庙俗称波罗庙，庙前珠江称为波罗江。古时每年都有官员代表皇帝到该庙祭奠南海神，商船、渔船出海，亦向南海神祭拜，祈求一帆风顺、平安大吉。1962年7月该庙被公布为广东省文物保护单位。1966年，广东省人民政府将神庙移交给广州海运局，改成学校与波罗庙航修站。文化大革命期间，南海神庙的大殿被毁，神像全部被砸碎，三分