I en alder av 16 år begynte han i den russiske marinen og tjenestegjorde deretter i hæren. Han gikk så inn i diplomatisk tjeneste under tsar Paul I sin sønn og etterfølger tsar Aleksander I. Han var knyttet til den russiske ambassaden i Berlin og ble senere overført derfra til Haag. I august 1806 mottok Nesselrode en kommisjon for å reise i Sør-Tyskland for å rapportere om de franske troppene der og deretter ble han vedlagt som diplomatisk sekretær for de russiske generalene Kamenski, Buxhoewden og Bennigsen. Nesselrode ble statssekretær i 1814 og var leder for Russlands offisielle delegasjon til kongressen i Wien. I 1816 ble Nesselrode utnevnt til utenriksminister. Mellom 1845 og 1856 jobbet han som kansler. Som utenriksminister i 1824 var han i flere forhandlinger med USA for å definere grensen mellom den russiske delen av Amerika og det amerikanske Oregon Country. Forhandlingene førte med seg den russisk-amerikanske traktaten av 1824. Et århundre senere, i 1924, ble Mount Nesselrode i Boundary Ranges på grensen mellom Alaska og Britisk Columbia oppkalt etter ham.