Carl Axel Löwenhielm antas å ha vært sønn av Karl II i hans forhold med Augusta von Fersen, om det er korrekt var han i så fall kun halvsøsken med sin bror Gustaf Löwenhielm. Allerede i seksårs alder ble han innskrevet som fenrik ved garden (svensk: lifgardet). Sammen med sin bror ble han i 1781 sendt til Strasbourg der han studerte ved Universitetet i Strasbourg og ble uteksaminert i 1785. Tilbake i Sverige avla han i 1787 den såkalte kansliexamen og begynte året etter tjeneste i garden.