I desember 1774 vendte von Fersen tilbake til Sverige. Her tjenestegjorde han i Svenska armén og deltok i livet ved Gustav IIIs hoff.