Colbert fue el menor de tres hermanos, hijos del conde de Colbert-Chabanais.