武蔵国に置かれた伊勢神宮の御厨である「飯倉御厨」（『神鳳鈔』）に創祀された神明社に起源を持つとされ、当初は飯倉山（現港区芝公園）に鎮座していた。社伝によれば、一条天皇の御代、寛弘2年9月16日（1005年10月21日）、伊勢の内外両宮を勧請して創建し、日向国鵜戸郡から得た「鵜戸石」と剣を神宝として奉納したといい、源頼朝は元暦元年（1185年）と建久4年（1193年）の2度に亘って神領を寄進し、特に後者においては自ら社参の上1300余貫の地を神田として寄進したという。その後中世には東国武家から厚く崇敬され、建武4年1月7日（1337年2月8日）には、足利尊氏の実弟直義が戦捷祈願に対する報賽の書状を奉納したほか（神社所蔵の伝直義執筆書状）、戦国時代には太田資長（道灌）の崇敬を受け、天正16年7月24日（1588年9月14日）には、北条氏直による柴村に対しての制札が発布された（この制札も神社所蔵）。また、豊臣秀吉も天正18年7月19日（1590年8月18日）あたりに、奥羽平定のために江戸を進発するに際して戦捷を祈願し、徳川家康も同年8月1日（8月30日）、江戸入府に際して社参、翌19年11月28日（1592年1月12日）、武蔵国日比谷郷に社領15石を寄進した。慶長3年（1598年）8月、増上寺が当神社の旧鎮座地（芝公園）へ移転することとなったため、現在地（港区芝大門）へ奉遷し、翌々5年9月1日（1600年10月7日）、家康は関ヶ原出陣に際し、社参して戦捷祈願をし、同19年から20年にかけての大坂の陣では、徳川方の戦捷祈願をするべく、将軍秀忠の正室お江与の方（崇源院）の代参として、家光の乳母である春日局が社参をしている。以後、歴代将軍家・幕府の庇護を受け、社殿の造営・修復等は幕命により執行するとともに、幕府より種々の祈祷依頼があり、大名による参詣等諸侯からも崇敬を受けた