Anne Charlotte Lynchs Vater war Patrick Lynch († 1819) aus Dublin, der an der Irischen Rebellion von 1798 teilgenommen hatte und dafür inhaftiert und anschließend aus Irland verbannt wurde. Im Alter von 18 Jahren kam er in die Vereinigten Staaten und gelangte schließlich nach Bennington, wo er einen Gemischtwarenladen eröffnete und seine zukünftige Frau Charlotte Gray (1789–1873), Tochter des Revolutionskriegsveteranen Oberstleutnant Ebenezer Gray (1743–1795), kennenlernte. Patrick Lynch und Charlotte Gray heirateten im Jahr 1812. Neben ihrer Tochter Anne hatten sie einen Sohn, Thomas Rawson Lynch (1813–1845).