El padre de Fraser, Simon Fraser de Balnain, fue un general británico que fue herido mortalmente en la batalla de Saratoga (su tumba es una parada de la visita del campo de batalla de Saratoga).