Construido en el siglo XV por el señor de Puebla de Montalbán, Alfonso Téllez-Girón que recibió esta villa en 1467 de su padre Juan Pacheco y Téllez-Girón, duque de Escalona, ha permanecido en sus descendientes hasta la actualidad.