Anker var gift to ganger, første gang med Julie Frederikke Jacobsen, som han fikk den senere seileren Erik Anker med, og andre gang med Nini Roll Anker.