Pocházel z obchodnické rodiny, která během 17. století dosáhla významu ve státních službách a získala několika šlechtických titulů, byl mladším bratrem prvního ministra Jeana-Baptista Colberta. Narodil se jako pátý syn bankéře Nicolase Colberta (1590–1661) a jeho manželky Marie Pussortové (1598–1659). Nicolas působil jako bankéř v Remeši, odkud krátce po Charlesově narození rodina přesídlila do Paříže. Charles od mládí působil ve státních službách a vlivem svého bratra se již v roce 1654 stal intendantem armády lokalizované v jižní Francii. Od roku 1656 byl intendantem v Alsasku a zároveň parlamentním radou v Metách. Ještě za éry kardinála Mazarina pobýval na několika diplomatických misích v německých zemích. V roce 1662 byl prezidentem parlamentu v Metách a v letech 1663–1665 královským zplnomocněncem v provinciích Touraine, Anjou a Maine. Během devoluční války zastával funkci generálního ubytovatele armády (1667–1668). V letech 1668–1675 byl intendantem v Paříži a Île-de-France, tento úřad ale již fakticky nevykonával, protože v té době pobýval jako vyslanec v Londýně. Od roku 1663 byl právníkem u státní rady ("maître des requêtes") a od roku 1669 řádným členem státní rady, zastával také čestnou dvorskou funkci pokladníka královských řádů ("Grand Trésorier des Ordres du Roi").