1812年にロシア帝国・モスクワにて、ロシア貴族（地主）のイワン・アレクセイエヴィッチ・ヤコブレフ（1795-1851）の私生児として誕生。彼の母ヘンリエット＝ヴィルヘルミヌ・ルイザ・ハークは現在のドイツシュトゥットガルトで、ロシア貴族の代表だった父の使用人をしていた時に身籠もり、父がモスクワに連れ帰った。姓は「彼の心の子」という意味合いを兼ねて、ドイツ語で心臓を表す"herz"からとられた。父はナポレオン戦争での1812年のモスクワの戦いの間、アレクサンドル1世に、ナポレオン・ボナパルトのメッセージを届ける伝令をしていた。