伊勢山皇大神宮は、県知事井関盛艮により創建され、その建白により国から神奈川県宗社と定められた。また、伊勢山の丘は県庁の前身である神奈川奉行所が、かつて所在した場所である。神宮はその始まりに於いて県と密接な繋がりがあったが、この関係は以降も続いてゆく。県知事の着任・離任に際しては、神宮に参拝し奉告祭を執り行うのが慣例となり、5月の例祭では、代理官を立てず知事自ら装束をまとい幣帛供進使を務めることも珍しくはなかった。また、神奈川県には護国神社が建立されなかったが、その役割は伊勢山が担っており、秋には西南戦争以来の県の戦没者慰霊祭が執り行われていた（「横浜沿革誌」）。その為に「野毛山招魂社」の別名で呼ばれることもあった。大正期には、県の殉職警察官・消防官の慰霊祭も行われ、その奉納行事として撃剣競技の大会も開催された。戦時下になると、県主催の戦勝祈願祭や戦勝奉告祭が度々行われた。このように、かつては県の宗社として、県公式の祭祀の場としての性格が極めて強かった。
明治天皇は、海軍の視察（明治17年までは横浜港に帝国海軍の根拠地である東海鎮守府が置かれていた）や根岸競馬場の天覧競馬（根岸競馬場は外国領事や公使の社交場であり、鹿鳴館と並ぶ明治政府の外交政策の拠点だった）などの理由により、頻繁に横浜へ行幸をしていた。そのため、1875年（明治8年）に行幸の際の御座所となるべく、伊勢山皇大神宮に隣接して二階建ての洋館である横浜御用邸・伊勢山離宮が建設される。1876年（明治9年）に明治天皇は東北地方の巡幸を行い、その最後には北海道へ渡り函館港からお召し船明治丸で横浜港へと向かった。その到着は、7月20日午前を予定していたが、実際には荒天に見舞われ深夜となってしまう。結局、外国の領事たちの出迎えも急遽中止となり、明治天皇はそのまま伊勢山離宮に入り宿泊することになった。ちなみに、この時の逸話を元にして、1941年（昭和16年）に7月20日が海の記念日に制定され、更に1995年（平成7年）からは国民の祝日海の日となる。また、伊勢山離宮は迎賓館としても使用され、明治政府にとって初めての国賓として来日したハワイ王国のカラカウア国王や、帰路に和歌山県串本町沖で乗艦が難破し命を落としたオスマントルコの親善特使パシャ提督（エルトゥールル号遭難事件）もここに招かれている。
神宮の鎮座する伊勢山の丘は、もともとは野毛山と呼ばれていたが、遷座の際に伊勢山と改められた（現在、伊勢町という地名は残るが、伊勢山という地名自体は残っていない）。かつては麓の宮崎町・花咲町は海であり、野毛町は野毛浦と呼ばれる入り江であった。これらの地域の埋め立てが進んだのは、幕末の開港以来である。神宮の境内の一部には伊勢山貝塚と呼ばれる遺跡が存在し、縄文後期の土器が出土している。また、この丘の一帯では紅葉ヶ丘や老松町で縄文期の住居跡も発見されている。現在の横浜中心部は、江戸前期に埋め立てられた吉田新田にあたることから、横浜中心部周辺に於いては、この丘一帯が最古の居住地域の一つであると考えられる。横浜の開港直後の1859年（安政6年）には、この丘に神奈川奉行所が設置された。開港場と外国人居留地が一望できたこと、また港を挟んで反対側にある山手の丘に居留民保護の名目で駐留する、イギリス・フランス両国の軍隊を監視できたことが、この丘が選ばれた理由であった。開港場の入り口吉田橋関門と東海道を結ぶ街道横浜道は、この丘に切通し（野毛切通し）を作り、奉行所の横を通るように開通したが、これも防衛上の理由からである。（この横浜道は現在も横浜市主要地方道80号横浜駅根岸線の一部として、神宮本殿の裏を通っている）その後、神奈川奉行所は明治政府に接収され、その機能は横浜税関と横浜裁判所に分割されるが、この横浜裁判所が神奈川県庁の前身となる。その後、前述の通りに港と横浜中心部を一望できることが鎮座地に相応しいとして、神宮が創建されることになった。
引退後はウインドフィールズファームのメリーランド支場で種牡馬となり、1株3万ドル、合計40株のシンジケートを組まれた。初年度産駒からカナダの年度代表馬となったグローリアスソングを出す成功を得たが、メリーランド州は馬産の中心地からやや外れており、環境の不利もあってか初年度以降の後続がなかなか出ない状況が続いた。しかし1983年、ケンタッキーダービー優勝馬のサニーズヘイロー（1980年生）と、最優秀2歳牡馬に選ばれたデヴィルズバッグ（1981年生）の活躍が重なり、同年のリーディングサイアーに輝いた。すでに15歳のヘイローであったが、この躍進によって前年3万ドルだった種付け料が一気に10万ドルまで跳ね上げられた。テキサス州の石油採掘事業者であるトム・ティザムは、このヘイローの上り調子に商機を見て、1984年2月に1株90万ドル、合計3600万ドルのシンジケートを結成して、ウインドフィールズファームからヘイローを買い取った。シンジケートはヘイローの繋養先を、アーサー・ハンコック3世の運営するケンタッキー州レキシントンのストーンファームに決め、2月中に移送させた。このとき設定された種付け料は、推定で20万ドルと考えられている。ストーンファームに移って初年度からケンタッキーオークスなどに勝ったグッバイヘイロー、スワップスステークス優勝馬のライブリーワン、カナダの最優秀3歳牝馬に選ばれたティルトマイヘイローなどを出す大成功を収めた。さらに翌年の産駒からサンデーサイレンスが現れ、同馬がアメリカ二冠とブリーダーズカップクラシックを勝った1989年にふたたびリーディングサイアーとなった。依然として気性は荒く、よく人間に噛みつくため、ストーンファームではいつでも口籠を装着されていたという。この気性の荒さは父のヘイルトゥリーズンから受け継がれたものであったが、馬の肖像画を描いている画家リチャード・ストーン・リーヴスは両方の荒馬を見て、ヘイローも父と比べれば並みの馬に見える程であったと語っている。1997年に種牡馬を引退し、2000年に31歳で亡くなった。