Chapuys trakk seg tilbake på grunn av helseproblemer i mai 1545 og forlot England. Han bosatte seg i Louvain som en velstående mann, blant annet etter lønnsomme investeringer i Antwerpen. Han bekostet flere skoler, blant annet et kollegium i Louvain for studenter fra hjemtrakten hans, Savoia. Bare porten står i dag tilbake, og er innarbeidet i bymuseet. Han stiftet også et gymnas i hjembyen Annecy i desember 1551. Chapuys fortsatte som rådgiver for keiser Karl som ønsket en utredning om sin kusine, Katarinas datter Maria i England, og muligheten for å finne en ektefelle til henne. Chapuys mente at Maria svært gjerne ville gifte seg. Han hadde selv en sønn, Césare, som han anerkjente i 1545, men sønnen døde fire år senere.