Внебрачный сын дворянина П. М. Нестерова, представителя рода Нестеровых, старший брат которого, Александр Матвеевич Нестеров — женился на Александре, дочери Афанасия А. Гончарова (по этой линии Ф. П. Макеровский — племянник её брата Николая Афанасьевича Гончарова, прадеда Натальи Гончаровой). Сестра отца, Анна Матвеевна Нестерова, была женой адмирала Григория Андреевича Спиридова, героя Чесменского сражения.