En el siglo XIII Sancho IV donó la villa a su portero mayor Juan García de Toledo quien mandaría construir el castillo.