I respekt for kongens ønsker og legenes råd, stilt han ikke til valg til Underhuset ved valgene i 1906, og da han heller ikke ble adlet, hadde han for første gang på tyve år ingen offentlige verv eller gjøremål. Dette ble derfor lavmålet i hans karriere, og kom samtidig med hans kone Marys død. Han engasjerte seg da i private gjøremål, blant annet ved å bygge en nytt hjem. I 1907 ble han valgt til kansler for Universitetet i Oxford, en hovedsakelig seremoniell stilling, som han imidlertid fylte med nytt innhold og ble en svært aktiv kansler, og det ble hevdet at «han kastet seg så energisk inn i den pågående universitetsreformen at kritikerne klaget over at han drev Oxford som en indisk provins».