Su primitivo origen es desconocido, pero sus inmediaciones estaban ya habitadas en la época prehistórica según nos revelan varios yacimientos de la época eneolítica, así como también se ha pretendido por algún historiador identificar el lugar del castillo con la mansión de Ildum de los itinerarios romanos, sin que hasta el presente haya plena confirmación de ello.