Kaulbars blev föräldralös vid sju års ålder. Han började sin militära bana i Holstein-Gottorps tjänst, och som femtonåring var han redan fänrik i ett dragonregemente och deltog tidigt i flera fälttåg, bland andra slagen vid Ramilies och Malplaquet 1709. Han befordrades till ryttmästare 1709 vid ett holsteinskt regemente och deltog på svensk sida i belägringen av Stralsund 1714, då han hamnade i fångenskap under två år. Efter en fångutväxling kom han till Sverige och fick genast Karl XII:s uppmärksamhet. I maj 1718 blev von Kaulbars utnämnd till generaladjutant.