Carl Henrik Anckarsvärd ble født på Sveaborgs festning som sønn av anjalamannen og generalløytnanten Mikael Anckarsvärd og hans hustru Ebba Karolina von Segebaden. Allerede ved tre års alder ble han innskrevet som offiser, og trådte som sekstenåring i aktiv tjeneste som fenrik ved Svea livgarde. I 1800 gjorde han en reise til Middelhavet og fulgte i 1803 som legationskavaljer (eldre svensk betegnelse for underordnet diplomat) sin blivende svigerfar friherre Carl Göran Bonde, ved dennes beskikking som sendemann til St. Petersburg. I 1806 ble han som sin far opphøyd til friherre, og deltok under felttoget til Tyskland i 1805 og 1806. Ved utbruddet av finskekrigen mot Russland i 1808 var han overadjutant og major i arméen.