Han tok sin avskjed i 1862 med obersts rang og Cannings død det samme året gjorde det vanskelig å finne noen offisiell utnevnelse i London. I 1863 ble han gjort til CB via trykk fra Roderick Murchison. Han henga seg til middelalderhistorie og geografien i Sentral-Asia. Hans hustru var fortsatt sykelig og de dro til Palermo på Sicilia for hennes skyld. Han gjorde bruk av bibliotekene der. Han utga (1866), og (1871), som han fikk gullmedaljen til Royal Geographical Society. Etter hans hustrus død i 1875, reiste han tilbake til England hvor han ble utnevnt til Council of India. Han giftet seg på nytt i 1877. Hans nye hustru var Mary Wilhelmina (død 26. april 1881) var datteren av en sivil tjener i Bengal, Fulwar Skipwith.