Jeho otcem byl podplukovník baron Carl Gyllenstierna. Nils Gyllenstierna studovala na univerzitách v Rostocku a Königsbergu . Po vypuknutí války mezi Švédskem a Brémami v roce 1666 nastoupil do švédské armády jako pikenýr, v roce 1668 dosáhl hodnosti kapitána. V roce 1669 až 1672 podnikl poznávací cestu po Evropě. Mezi Francií a Nizozemskem vypukla v roce 1672 válka, které se účastnil v řadách vojska knížete-biskupa z Münstru. Poté vstoupil do nizozemské armády, kde byl v roce 1674 jmenován podplukovníkem, účastnil se bitvy u Seneffe. Když v roce 1675 začala válka v provincii Skåne, švédská vláda Carla Gyllenstiernu odvolala z velení. V roce 1693 byl povýšen na generálmajora kavalérie a jmenován guvernérem Jönköpingu. V roce 1696 byl povýšen generálporučíka a guvernéra švédského Wismaru. V roce 1698 byl povýšen na generála kavalérie a jmenován generálním guvernérem vévodství Bremsko-Verdenské. Po vypuknutí Velké severní války byl vrchním velitelem švédských sil v Německu, následně v roce 1702 překročil Labe a porazil Dány u Reinbecku . V roce 1702 velel švédským posilám, které byly převedeny z Německa do Polska. V roce 1706 jej švédský král Karel XII. povýšil na hraběte. V roce 1708 obsadil Hamburk a byl povýšen na polního maršála. Od roku 1705 byl členem královské rady, po návratu do Švédska se stal v roce 1710 prezidentem válečné rady. V letech 1714 až 1719 byl také vrchním velitelem švédských sil v provincii Skåne. Po bitvě u Poltavy se Carl Gyllenstierna postavil proti politice vyzbrojování obhajované Magnusem Stenbockem, v královské radě se spojil se svým zetěm Arvidem Hornem v opozici vůči nepřítomnému králi. V boji o moc po smrti krále se znovu spojil svým zetěm, ale zemřel v roce 1720.