Su carácter íntegro le obligó a dejar la Corte, retirándose a su Comenda de Duas Igrejas, y después a su quinta de Tapada - Amares -, para dedicarse a la lectura y al cultivo de la poesía; allí murió en 1558 sin haberse vuelto a casar.