Karl var flerspråklig og skal ha sagt: «».<ref>[https://www.azquotes.com/quote/1307063 I mitt rike går solen aldri nedAlltid har jeg vært klar over min ufullkommenhet og mine mangler.''» Tårene rant da sønnen Filip falt på kne for ham og fikk overdradd kongemakten. Året etter overlot Karl også den spanske tronen til sin sønn, men keiserkronen overdro han til sin bror Ferdinand. Befridd for alle verdslige plikter trakk Karl seg tilbake til klosteret San Yuste i Spania. Her ble han også gravlagt, men i sitt testamente hadde han ytret ønske om å bli gravlagt sammen med sin dronning. Filip opprettet da et familiegravsted ved El Escorial påbegynt i 1563.