Hertz var født i Hamburg i Tyskland, i en jødisk familie som konverterte til kristendommen. Hans far var advokat i Hamburg, og hans mor var datter av en lege. På skolen viste han interesse for både naturvitenskap og språk, og lærte blant annet arabisk og sanskrit. Han studerte senere naturvitenskap i Dresden, München og Berlin. Han var student hos Gustav Kirchhoff og Hermann von Helmholtz. Han tok doktorgraden i 1880 og var hos Helmholtz inntil han i 1883 fikk en undervisningsstilling i teoretisk fysikk ved Universitetet i Kiel. I 1885 ble han professor ved Universitetet i Karlsruhe, der han oppdaget elektromagnetiske bølger.