Женат на Елизавете Николаевне Полтевой, происходившей из древнего дворянского рода. В этом браке родилось трое детей: Сергей (род. 1790), Николай и Дарья (25 мая 1786 — 2 декабря 1818). Средний сын умер, вероятно, ещё во младенчестве. В Дрезденском сражении погиб старший сын Сергей († 1813). Дочь вышла замуж за генерал-лейтенанта графа Октавия (Осипа Осиповича) де-Кенсона, впоследствии пэра Франции. Но брак оказался бездетным (дети умирали в раннем возрасте). После смерти жены, а вскоре за тем и последней дочери († 1818), князь П. И. Одоевский основал в память своей дочери в Москве Дариинский приют, много помогал бедным: у него в доме (Камергерский переулок, 3; сейчас на этом месте находится МХАТ им. А. П. Чехова), под надзором пожилой дамы, всегда жили 2—3 воспитанницы, бедные сироты, которым он давал образование, а потом, обеспечив, выдавал замуж, причем на их место всегда поступали новые.