En 1366 el Señorío recayó en Pedro de Luna (futuro Arzobispo de Toledo) y en 1368 pasó a manos de la Casa de Tovar.