Наталия е петото дете от седемте деца на Гончарови. Тя се ражда на 8 септември (27 август по стар стил) 1812 г. в село Кариан, Тамбовска губерния, в родовото имение на Загряжките. Семейството на Гончарови е там докато върви Френско-руската война. Детските и юношеските си години тя прекарва в Москва в именията Ярополец в Московска губерния и Полотняни Завод в Калужка губерния.