Anne MacVicar war eine Tochter von Duncan MacVicar, der zuerst Landwirtschaft trieb, 1757 aber als Offizier in das 77. Infanterieregiment der britischen Armee einberufen und nach Nordamerika beordert wurde. Dorthin folgten ihm seine Gattin und sein kleines Kind im nächsten Jahr. MacVicar lag damals nahe Albany in Garnison und gewann die Achtung holländischer Siedler. Als er zum 55. Infanterieregiment wechselte, mit dem er den katastrophalen Angriff auf Ticonderoga (Juli 1758) unternahm, ließ er seine Gemahlin und Tochter in Albany zurück. Anne, ein munteres und talentiertes, aber etwas wild aufgewachsenes Kind, wurde von den Schuylers und anderen dort siedelnden Familien gut aufgenommen. Insbesondere lernte sie Madame Schuyler aus Albany, Witwe des Colonel Philip Schuyler und Tante des berühmten Generals gleichen Namens, kennen. In der Folge wurde Anne von Madame Schuyler ebenso wie von ihrem Vater aufgezogen, der sich 1765 auf Halbsold aus dem Militärdienst zurückgezogen hatte und auf einem ihm zugewiesenen Landgut am Ufer des Hudson River in Vermont ansiedelte. Während ihres Aufenthalts in Nordamerika verlebte Anne in der Gesellschaft der ihr wohlwollenden Madame Schuyler eine angenehme Zeit, die sie in ihren "Memoirs of an American Lady" mit sehr anziehenden Farben und innigen Gefühlen der Dankbarkeit geschildert hat.