Som anerkjennelse for sine fortjenester ble han i 1804 ridder av Dannebrog. I 1806 måtte han forlate India, både fordi han var trett av livet i koloniene, og fordi helsen hans var sterkt medtatt. 10. juli 1807 fikk han avskjed med pensjon. mini|Ankers maleri av Det store tempel i Thanjavur, bygget ferdig i 1010 etter ordre gitt av den tamilske cholakongen Raja Raja Chola I. Tempelet har blitt klassifisert av UNESCO som verdensarv. I 1808 bosatte han seg på gården Øraker ved Christiania, omgitt av sine litterære og etnografiske samlinger. Han deltok ved stormannsmøtet på Eidsvoll (ofte kalt notabelmøtet) den 16. februar 1814, og samme år lot Christian Frederik ham foreta en reise i England, hvor han imidlertid ikke fikk utrettet noe. Han døde barnløs.