Жена (с 30.05.1862, Висбаден) — княжна "Ольга Дмитриевна Хилкова" (1839—1918), фрейлина двора, дочь Дмитрия Александровича Хилкова от брака с Елизаветой Григорьевной Волконской; племянница боевого генерала Степана Хилкова, тётка толстовца Дмитрия Хилкова. Принесла мужу в приданое небольшое состояние и некоторые связи. Была женщина очень неглупая и приятная в разговоре. Увлекалась литературой и выступала в печати с переводами. Хорошо знавший княжну Хилкову И. С. Тургенев, отзывался о ней как о прелестной и весьма образованной девушке. В обществе мадам Нелидова была известна своими легкомысленными любовными связями, из-за которых в 1894 году Австрия отказалась принять у себя послом её мужа. По словам В. Н. Ламздорфа, было бы «совершенно невозможно, чтобы пресловутая Ольга Дмитриевна, которую недолюбливала императрица Мария Фёдоровна, оказалась принятой при австрийском дворе и допущена в венское общество». За заслуги мужа в коронацию Николая II в 1896 году была пожалована в кавалерственные дамы ордена Св. Екатерины (меньшого креста). После его смерти осталась жить во Франции. Состояла председательницей Комитета русских дам в Париже. Их дети: