Anna Ivarson var datter av vinutskjenker Kristen Sverdrup Jakobsen og Karoline Rebekka Pedersdatter. Hun ble første gang gift med Petter Haakonsen (ca. 1856-1891). Hennes annet ekteskap ble inngått 2. januar 1892 i Chicago med skuespiller William Ivarson. Ekteskapet ble oppløst i 1911. Sammen hadde de sønnen Harry Ivarson, som ble filmregissør og manusforfatter. Anna Ivarson ble tredje gang gift Moe.