Kong Gustaf V inviterte ham til å bo på slottet da andre verdenskrig brøt ut. Han var da allerede blitt en syk mann, nærmest blind og med nedsatt hørsel. Han bodde på Stockholms slott de siste syv årene av sitt liv.