В 1776 году Шарлотта Стэнли скончалась. После её смерти, Бергойн сожительствовал оперной певицей Сьюзен Колфилд. У них было четверо внебрачных детей, один из них — Джон Фокс Бергойн участвовал в Наполеоновских, англо-американской и Крымской войнах, получил чин фельдмаршала и титул баронета.