代伏波将军马援在征讨交趾时，为通航船只，在横县附近开辟了航路，清理了当地着名的险滩乌蛮滩。后来当地民众在乌蛮滩北岸建造了伏波庙以示纪念，并在每次航行通过前都会来伏波庙祭拜。此外，当地群众会在每年的农历四月十四于伏波庙举行庙会。此后该伏波庙在宋朝庆历年间和明朝洪武年间均有重修。嘉靖年间，新建伯王守仁曾率领兵马经过此地，随后监督当地州府对伏波庙进行了增建。由于伏波庙周围树木繁茂，但瓦顶常年无落叶，具体原因至今不明，有学者认为是伏波庙所处位置特有的气流方向所致。文化大革命期间，伏波庙内的神像和横匾等庙内物品被拆毁