Han var sønn av kjøpmann Christian Ancher (1711–1765) og hustru Karen Elieson (1723–1806) og vokste opp i Paléet i Christiania sammen med sine brødre Bernt, Jess og Iver.