La edificación del Castillo la comenzó Sancho de Padilla hacia la mitad del siglo XV sobre una casa o torre morisca que poseía en el pueblo.