Представитель польского шляхетского рода Гордон герба . Кароль Гордон был членом шотландского клана Гордон, благородной шотландской семьи, члены которой переехали в XVII веке, спасаясь от политических и религиозных преследований на родине. В Польше эта линия клана Гордон получила индигенат. Отец Кароля Пётр проживал в Кракове. У Кароля также было три брата, вместе с которыми он продал семейный дом после смерти отца в 1788 году, чтобы оплатить долги. Кароль Гордон начал военную карьеру еще во время правления короля Августа III. В возрасте 10 лет он в качестве товарища был записан в драгунский полк в Ловиче, который позднее в 1776 году был реорганизован в под командованием . В этом полку Кароль Гордон прослужил до восстания под руководством Тадеуша Костюшко, продвинувшись от прапорщика (1766) до полковника (1791).