Был женат на потомственной дворянке "Елизавете Александровне" (1848—1926), дочери статского советника Александра Карловича Оде-де-Сиона и его супруги Анны Васильевны (урождённой Сарычевой). Её крёстной матерью была графиня Александра Андреевна Толстая (1817—1904), ставшая позднее камер-фрейлиной императрицы Марии Фёдоровны — дальняя родственница Сарычевых и двоюродная тетка писателя графа Толстого. С семьёй крестницы она, несмотря на своё высокое придворное положение, поддерживала до конца жизни самые тёплые отношения и завещала ей некоторые из личных вещей — своих и Льва Николаевича. Эти «вещи Толстых» хранились в семье Хруновых, как реликвии, а после Октябрьская революции были переданы в экспозицию музея-усадьбы «Хамовники».