Anne Fairfax era hija del coronel William Fairfax de Belvoir, un agente de tierras a las órdenes de su primo Thomas Fairfax, 6º señor Fairfax de Cameron.