Mary Anne Stewart war die älteste Tochter des britischen Kolonialbeamten Walter George Stewart, der zuletzt Sekretär der Kolonialverwaltung Jamaikas war. Nachdem die Familie 1833 nach England zurückgekehrt war, erhielt sie dort ihre schulische Ausbildung. 1852 heiratete sie in erster Ehe George Robert Barker, einen Offizier der Royal Artillery, der für seine herausragenden Verdienste im indischen Aufstand von 1857 im Jahr 1859 zum Knight Bachelor geschlagen wurde und fortan den Namenszusatz „Sir“ führte. Aus dieser Ehe gingen der 1853 geborene Sohn John Stewart Barker sowie der 1857 geborene Sohn Walter George Barker hervor.