Hertz var født i København, hvor hans fader, Moses Hertz, drev melhandel; moderen var Mariane født Berendt. Da begge forældrene snart døde, kom han i huset hos en meget ældre broder, garvermester Abraham Hertz. 14 år gammel sattes han i guldsmedelære hos Johan Isbrand, og efter at have udstået sin lære og et par år arbejdet her som svend tog han ranselen på nakken og besøgte Hamborg, Berlin og Wien. Kommet tilbage etablerede han sig 1834, men hans virksomhed udviklede sig først, da han 1841 overtog guldsmed Jacob Arne Sivertsens forretning på hjørnet af Købmagergade og Kronprinsensgade. På udstillingen 1852 i København og verdensudstillingen 1862 i London udstillede han dygtige arbejder.