Hertz is tot 'n Joodse familie gebore, wat tot die Christendom bekeer is. Sy vader, Gustav Ferdinand Hertz (1827-1914), was 'n vooraanstaande advokaat, en sy moeder Anna Elisabeth Pfefferkorn (1835-1910) was die dogter van 'n Frankfurtse dokter. Hy het drie ouer broers, Gustav, Rudolf en Otto, en een jonger suster, Melanie, gehad.
Hertz het 'n besonderse belangstelling getoon in die elektromagnetisme, waarvan die teorie in 1862 deur die Skotse fisikus James Clerk Maxwell uitgewerk is. Hy het in besonder probeer om die elektromagnetiese straling wat deur Maxwell se vergelykings voorspel word te meet.
In 1886 bou hy 'n elektriese ossilator wat aan twee metaalbolle gekoppel was. Dit was so ontwerp dat daar op gereelde tydstippe 'n vonk tussen die twee balle gespring het. Hierdie vonk het dan 'n elektromagnetiese golf uitgesaai, en Hertz het daarin geslaag om 'n instrument te bou wat die golf kon meet. Hierdie instrument was heel eenvoudig, en het uit 'n draadhoepel bestaan wat nie heeltemal toe was nie, maar 'n klein gapingtjie tussen sy twee punte gehad het. Wanneer 'n elektromagnetiese golf die draad bereik word daar deur induksie 'n stroom daarin opgewek, wat 'n klein maar sigbare vonkie oor die gaping veroorsaak.
Met behulp van hierdie eenvoudige ontvanger, kon Hertz die sterkte van die golwe op verskillende plekke in sy laboratorium meet. Hy kon ook die golflengte van die golwe bepaal. Dit was 61 meter gewees, byna 'n miljoen keer groter as die van sigbare lig. Die resultaat van hierdie eksperiment word in die Annalen der Physik gepubliseer.
Tydens een van sy eksperimente met elektromagnetiese straling, het hy in 1878 per toeval die foto-elektriese effek ontdek. Deur 'n metaal met ultraviolet lig te bestraal kon daar 'n elektriese stroom opgewek word. Sy assistent Philipp Lenard het later die verband tussen die frekwensie van die strale en die hoeveelheid opgewekte stroom opmerk.
"Dit is heeltemal nutteloos... Dit is slegs 'n eksperiment wat bewys dat Maxwell reg was. Ons het maar net hierdie geheimsinninge elektromagnetiese golwe, wat ons nie met die blote oog kan sien nie, maar wat tog bestaan."