Charles Albert Joseph Lecomte var direkte etterkommer av Pierre-François Lepoutre (1735-1801), bonde og stedfortreder for Nord til generalstendene, hvis datter, Catherine Lepoutre (1775-1850) giftet seg med Charles Louis Lecomte (1776-1847), oldefar av biskopen..