Han var gift (fra 1802) med Annette Karine Thorsen (1782–1830), datter av skipsfører Ole Balle Thorsen og Anna Knudsdatter Schmidt. De var foreldre til sønnene Jess Anker (1808–1864), sorenskriver i Gauldalen Bernt Olaus Anker (1809–1881), kirkeverge Christian Anker (1811–1885), infanterikaptein John Collett Anker (1816–1866), kunstmaler Peter Bernhard Anker (1825–1856), og til døtrene Karen Annette Anker (1804–1862), Martine Emilie Anker (1805–1888), Sophie Anker (1806–1874), Helene Cathrine Anker (1812–1814), Kathinka Anker (1815–1869) gift med Niels Arveschoug, Caroline Charlotte Anker (1818–1841) og Josephine Bernhardine Wilhelmine Anker (1823–1823).