Родился в 1799 году в усадьбе Липки Епифанского уезда Тульской губернии. Был старшим сыном помещика Николая Васильевича Григорова. Во время войны Н. В. Григоров, подпоручик в отставке, вступил в ряды тульского ополчения, а семью отправил в имение Берёзовку (в Костромской губернии), которое было получено в наследство его женой Анастасией Афанасьевной, урожденной Соймоновой, от своей матери Клавдии Афанасьевны Невельской. По окончании войны семья, в которой было 7 детей, осталась жить в Берёзовке, куда были переведены их немногочисленные крепостные из тульской усадьбы. Н. В. Григоров умер в 1848 году. Свои владения он разделил между детьми: тульские земли почти все отошли ко второму сыну — Николаю Николаевичу, а костромские, расположенные в Макарьевском и Кинешемском уездах, — остальным сыновьям: старшему Александру и младшим Ивану, Сергею и дочери Марии.