Universitetet i California tilbød Harte en professorstilling i nyere skjønnlitteratur, men han avslo. Han fikk også tilbud om stillinger som redaktør eller spaltist. Til sist tok han imot en posisjon som USAs konsul i den tyske byen Krefeld. Tynget av gjeld til venner og medarbeidere forlot familien i 1878 og reiste over Atlanterhavet. Etter to år fant han ut at Tyskland ikke var noe for ham, og dro til Glasgow i Skottland i 1880. Fem år senere bosatte han seg i London. I løpet av den tiden han tilbrakte i Europa fortsatte han skrive og støttet seg fortsatt på den type fortellinger som hadde gjort ham populær. Han bodde sammen med en diplomat og hans familie på ni barn. Hans hustru og barn reiste etter Harte til London i 1898, men på den tiden hadde han allerede oppvarte en diplomatenke i noen år. Han ble aldri forsont med sin hustru. Han fortsatte å skrive, skjønt uten større offentlig anerkjennelse, fram til han døde av strupekreft i 1902. Han er gravlagt i den engelske byen Frimley. Mark Twain overlevde Harte med åtte år.