Чоловік Наталії Іванівни, Микола Опанасович (1787—1865), єдиний син власника фабрик Гончарова Афанасія Миколайовича в Полотняному Заводі, в 1808 році отримав чин колезького асесора і вступив на посаду секретаря московського губернатора, молоде подружжя переїхало в Москву. Батьки Миколи Гончарова роз'їхалися в тому ж році, і незабаром його батько, Опанас Миколайович, відправився в закордонну подорож. Молодший Гончаров за дорученням керував усіма сімейними підприємствами, які поступово приходили в занепад через марнотратного способу життя його батька, і досяг певних успіхів. У 1811 році Микола Гончаров був нагороджений орденом Святого Володимира IV ступеня «за приведення до належного стану і вдосконалення полотняних і паперових фабрик Калузької губернії». З початком війни 1812 року Опанас Гончаров повернувся в Росію, деякий час батько і син управляли фабриками спільно, але в 1815 році старший Гончаров абсолютно відсторонив від керівництва підприємствами Миколу.