И. Д. Лебедев был женат с 1863 года на "Елене Алексеевне Кох" (ок. 1838 — 09.07.1900) - дочери дворянина, обрусевшего немца, штабс-капитана Ряжского пехотного полка Алексея Ивановича Коха, внучке капитан-лейтенанта флота, участника Дарданелльского сражения и Афонского сражения Николая Ивановича Семынина. В семье родились 5 сыновей и 3 дочери: Иван (1864—?), Дмитрий (1865—?), Николай (1867—1868), Александр (1868—?), Мария (1871—?; умерла в младенчестве), Ольга (1872—?), Надежда (1875—?), Борис (1878—1944).