Löwenhielm deltok i krigen i Finland årene 1788-1790, utmerket seg ved flere tilfelle og ble tatt til fange av russerne ved retretten fra Vyborg. Han ble snart etter ordre fra Gustav III utvekslet og var i årene 1791-1795 svensk diplomat i (såkalt legationskavaljer) i Konstantinopel. Tilbake i Sverige ble Löwenhielm i 1797 major i garden og kammerherre for den unge dronningen, Frederike av Baden. Han tjenestegjorde i Pommern 1807 og ble i 1808 overadjutant hos kong Gustav IV Adolf.