Иосиф Герцберг родился в 1802 году в Могилёве, городе на Украине за чертой оседлости. Активно занимался самообразованием и уже в молодости освоил русский, немецкий, французский и английский языки. Основным занятием, который приносил ему доход, была торговля.