Fréron avait épousé, en 1751, une jeune orpheline quimpéroise, Thérèse Guyomar. Ils eurent un fils, Louis-Marie Stanislas Fréron qui joua un rôle sous la Révolution française : surnommé le « Missionnaire de la Terreur », il fut notamment l’instigateur de la terrible répression de Toulon fin 1793.