Fils d'un héros, rescapé de la Saint Barthélémy et du siège de Sancerre, Jean de Bouffard-Madiane est né à Castres le , d’une très ancienne famille albigeoise dont la filiation remonte à 1317, époque où François de Bouffard était le premier magistrat de Castres. Son petit-fils du même nom a aussi été consul de cette ville en 1393. Sa mère est Catherine de Molinier de Tourène, fille d’Étienne de Molinier, docteur en droit, conseiller du Roi.