Nesselrode tilhørte en opprinnelig tysk greveslekt som var innvandret til Russland fra Rhinlandet. Da han ble født, var faren stasjonert som Russlands ambassadør i Portugal.