Gyldenstolpe blev student i Åbo 1786, inskrevs vid Åbo hovrätt 1788 samt utnämndes 1798 till assessor och 1809 till hovrättsråd där. År 1797 deltog han i stiftandet av Finska hushållningssällskapet. År 1808 deltog han som en av Åbo läns adels representanters uppträdande i fråga om utseende av deputerade till Sankt Petersburg. Vid Borgå lantdag var han en av ridderskapets och adelns främsta medlemmar och utsågs bland annat till ledamot av finansutskottet, vilket ägde utarbeta förslag till ordnande av Finlands mynt- och penningväsen.