Йосип Герцберг народився у 1802 році в українському місті Могильові, яке знаходилось у межах смуги осілості. Активно займався самоосвітою і вже в молоді роки освоїв російську, німецьку, французьку та англійську мови. Основним заняттям, яке приносив йому дохід, була торгівля.