Felipe IV había delegado la educación de su hijo a don Juan Isasi Idíaquez, caballero de Santiago, señor de algunas villas en Castilla y de esta torre.