Su delicado estado de salud y las malas condiciones del torreón motivaron su traslado, primeramente, al castillo de Santorcaz (Madrid) y, posteriormente, a su palacio de Pastrana (Guadalajara), donde murió en 1592.