Anna Smith var datter av kjøpmann Jens Emil Smith (født 29. oktober 1820 i Christiania, død 22. august 1868 samme sted) og Ingeborg Birgitte Olsen (født 28. september 1818 i Christiania, død 26. februar 1902 samme sted). Hun var søster av arkitekt Einar Smith, og halvsøster av arkitekt Ove Ekman.