Hertz ble født i Hamburg og studerte ved Universitetet i Göttingen, München og Berlin frem til han ble uteksaminert i 1911. I 1913 begynte han som forskningsassistent ved Universitetet i Berlin, men ble tvunget til å forlate tjenesten alt året etter på grunn av første verdenskrig. Under krigen ble Hertz alvorlig skadet, men kunne fremdeles vende tilbake til Berlin i 1917, der han fikk tjeneste som privatdosent. Mellom 1920 og 1925 jobbet han i fysikklaboratoriet ved Philips' lampefabrikk i Eindhoven.