En agosto de 1561 se retira a su señorío decayendo su actividad político-diplomática hasta que, nombrado miembro del Consejo de Estado y Guerra, recibió en el último tramo de su vida la dignidad ducal y la Grandeza de España (1567).