Родился в семье потомственного дворянина, действительного статского советника Дмитрия Васильевича Иванова (1811—1885), который на протяжении 25 лет избирался почетным мировым судьей Раненбурга. Местом его рождения было имение матери Любови Антоновны, урождённой Бистром (1839—1911) — Солнцево в Раненбургском уезде Рязанской губернии. Дед по материнской линии, Антон Антонович Бистром, участвовал в заграничном походе против Наполеона, а дед по отцовской линии, Василий Семёнович Иванов, геройски погиб в войне против французов в составе Тульского ополчения.