Han var sønn av kjøpmann Erik Anker (1709–85) og Anne Cathrine Tank (1723–61). Som barn mottok han en omhyggelig oppdragelse, før han ble sendt på en lengre utenlandsreise 1760–65 sammen med reiselederen Andreas Holt, sin bror Carsten, og sine fettere Bernt Anker og Peder Anker.