I mars 1863 dro han tilbake til ambassadørposten i St. Petersburg. I 1869 vendte han tilbake til Kentucky og sluttet seg til Det demokratiske parti.