Fjeldsted var født på Island, han ble student i 1762 og tok juridisk eksamen 1766. Han var dommer på Island i en periode og fra 1769 til 1772 var han lagmann på Færøyene. Etter dette kom han til Norge. Fra 1772 besatte han embetet som amtmann i Finmarkens amt. Fra 1778 var han amtmann på Bornholm og i 1780 lagmann i Kristiansand. Fra 1786 til 1795 var han stiftsamtmann i Trondhjem. Fra 1774 var han medlem av Det Kongelige Danske Videnskabernes Selskab. I 1783 ble han tildelt gullmedalje fra Landhusholdningsseskabet for en avhandling med forslag til nye handelsinnretninger på Island.