Hans hustru Olivia døde. I 1814 avtalte Storbritannia og Nederland at Java skulle tilbakeføres til nederlandsk styre. Samtidig var han blitt beskyldt for embedsmisbruk, noe han ville forsvare seg mot. Av alle disse grunner reiste han tilbake til England. På hjemturen gjorde han opphold på St. Helena, hvor han møtte Napoleon, som han imidlertid ikke brød seg om.