Han ble etterhvert preget av alder og sykdom. I 1564 overgav han regjeringen til sin eldste sønn, som imidlertid skulle nøye seg med å styre som hans stedfortreder, slik at han selv skulle kunne gripe tøylene dersom det ble helt nødvendig.