Natal'ja nacque nel villaggio di Karian nel governatorato di Tambov, nell'attuale oblast, dove la sua famiglia visse durante l'occupazione di Mosca da parte dell'esercito di Napoleone. Suo padre, Nikolaj Afanasievič Gončarov (1787-1861), proveniva da una famiglia di commercianti e industriali che ricevette il titolo di cavaliere al tempo dell'imperatrice Elisabetta; sua madre, Natal'ja Ivanovna Zagrjažskaja (1785-1848), si separò presto dal marito per ritirarsi nella tenuta di Jaropolec, che aveva ereditato dai genitori.