創建の年代は不詳であるが、社伝によれば、武甕槌神を祀って天皇の軍の戦勝を祈ったのに始まると伝えられる。景行天皇が東国巡行の際に、当社で賊難を避けたという。欽明天皇が東征のとき、新たに配祀神四神を祀り、以降長らく勅願所とされたと伝えられる。当初は祭神の名前から「武甕槌宮」と称していた。平安時代末期、この地を領有した河崎基家が山王権現を勧請して以降、「河崎山王社」「堀之内山王権現」などと呼ばれるようになった。明治元年、関東へ下降する有栖川宮熾仁親王が当社で休憩し、その際、「神仏習合に基づいた「山王」の社名は新政府の神仏分離の方針にふさわしくない」と言ったことから、社名を旧地名の武蔵国稲毛庄にちなんで「川崎大神稲毛神社」とし、明治中頃に「稲毛神社」の名が定着した。明治6年、郷社に列格した。昭和41年（1966年）、神社本庁の別表神社に加列された。田中休愚の一族らが奉納した手洗石は川崎市重要歴史記念物に指定されている。
現在は武甕槌神を主祭神とし、経津主神・菊理媛神・伊弉諾神・伊弉冉神を配祀するとしている。江戸時代までは山王権現を祀るとされていた。
ヘルツ自身は自分をユダヤ人だとは思っていなかったが、ナチは彼をユダヤ人の家系だとし、ハンブルク市庁舎に掲げられていたヘルツの肖像画を撤去した。ヘルツ本人はルター派だったが、父方は確かにユダヤ教であり、ヘルツの父が結婚に際してキリスト教に改宗したという事実がある。なお、その肖像画は後に再び一般に公開されるようになった。
甥であるグスタフ・ヘルツは1925年にノーベル物理学賞を受賞、その息子であるC.ヘルツは医療用超音波検査を発明した。1930年、ヘルツの名前は周波数を示すSI単位であるヘルツに採用された。1969年、東ドイツでハインリヒ・ヘルツ記念賞が設けられた。1987年にはIEEEがハインリヒ・ヘルツ・メダルを創設した。月にはヘルツの名を冠したクレーターがある（裏側にある）。ハンブルクにはハインリヒ・ヘルツ塔と名付けられた電波塔がある。電波の入門書で見ることがある通商産業省が作成した『電波の樹』はマックスウェル、ファラデー、アンペールが根とされ、ヘルツが幹の役割を担う形で100年に亘る電波利用の歴史が図として描かれている。
1892年、激しい偏頭痛から感染症と診断されたヘルツは、何度か手術を受けたが、1894年にボンで、多発血管炎性肉芽腫症（ウェゲナー肉芽腫症）のため死去した。遺体はハンブルクのユダヤ人墓地に埋葬された。妻エリザベートは再婚しなかった。1930年代になってアドルフ・ヒトラーが台頭してくると、エリザベートは2人の娘と共にイングランドに移住した。1960年代になって チャールズ・サスキンド(Charles Susskind)が娘の1人にインタビューし、ハインリヒ・ヘルツの伝記を執筆した。サスキンドによれば、ヘルツの2人の娘は生涯未婚だったため、ヘルツには子孫がいないという。
1886年から1889年の間にヘルツは後に接触力学と呼ばれるようになる分野の論文を2編発表している。接触の基本的性質に関する論文の多くは、このヘルツの2つの論文を参照・引用している。ジョゼフ・ヴァランタン・ブシネスクがヘルツの論文について重要な考察を発表し、そこから接触力学が発展していった。ヘルツの論文は、2つの線対称な物体を接触させ荷重をかけたときの振る舞いを古典的な弾性体および連続体の力学で解いたものである。ヘルツは2つの固体が接触したときの凝着力を全く無視するという間違いを犯しているが、後に高い弾性を仮定した場合に凝着力が無視できないことが判明している。しかし当時は実験によって凝着力を調べる方法も確立されていなかったため、無視したとしても当然だった。ヘルツはガラスの球とレンズを接触させ、ニュートン環を観察するという実験を行った。
1878年の夏、ミュンヘン工科大学にいたころの指導教官が気象学者の ヴィルヘルム・フォン・ベゾルト であり、そのころから気象学にも深い興味を抱いていた。しかし、ベルリンでヘルムホルツの助手をしていたころにいくつか論文を書いた程度で、あまり気象学の業績を残していない。例えば、液体の蒸発についての研究、新たな湿度計の考案、湿潤な大気が断熱的に変化したときの特性をグラフを使って判定する方法などの論文がある。
よく東京裁判の法廷において「軍の満州国立案者にしても皆自分である。それなのに自分を、戦犯として連行しないのは腑に落ちない」「満州事変の責任は自分にある。私を裁け」と述べたと書かれることが多いが、実際には『石原莞爾宣誓供述書』によると「満州建国は右軍事的見解とは別個に、東北新政治革命の所産として、東北軍閥崩壊ののちに創建されたもので、わが軍事行動は契機とはなりましたが、断じて建国を目的とし、もしくはこれを手段として行ったのではなかったのであります」と満州事変と満州国建国について、自分が意図したのではないと述べ、自らが戦犯とされるのを避けるとともに、板垣・土肥原の弁護に繋がる発言をしていた。なお、柳条湖事件が関東軍の謀略であるという確たる証言が得られたのは、板垣・石原の指示で爆破工作を指揮した関東軍参謀花谷正が昭和30年（1955年）に手記を公表してからである。ちなみに、石原は法廷に先立って重慶通信社の特派記者から取材を受けている。満州国の運営が理想通りに進まなかったことについて言及した後、「わしが理想郷を心に描いて着手した満州国が、心なき日本人によって根底からふみにじられたのである。在満中国人に対する約束を裏切る結果となってしまった。その意味において、わしは立派な戦争犯罪人である。独立に協力した中国人に対してまことにすまなかった、と思っている」と述べ、中国当局に独立へ協力した人々へ理解を願う発言を行っている。