Hans hustru døde i hans armer i juni 1861 og han fant det deretter uutståelig å fortsette å bo i Italia, der de hadde opplevet sa mange lykkelige stunder sammen. Han vendte tilbake sammen med sønnen til London og ble en populær person i sosieteten. Han bodde hjemme hos sin gamle far og senere, etter farens død (1866) sammen med sin søster.