Castillo construido durante los tiempos del rey visigodo Teodomiro (también Tudmir), concretamente en el año 759, como muestran documentos, durante la invasión normanda que consiguió tomarlo, si bien otras fuentes señalan que es de origen árabe.