1938年5月場所千秋楽では武藏山と対戦するが、両者とも横綱でありながら6勝6敗同士で勝ち越しと負け越しを掛けた一番という悲壮な対戦となった。男女ノ川はこれに敗れて皆勤負け越しという不名誉な記録を作ってしまうが、この時のショックからか奇行が目立つようになり、ダットサンを運転して場所入りしたり、戦局悪化による燃料統制で運転できなくなると自転車で場所入りしたり、早稲田大学の聴講生となった。1941年5月場所2日目には新入幕だった双見山又五郎との対戦で敗れ、1942年1月場所を最後に引退した。男女ノ川は帰参後、「勝敗など無関係、1番強いのはワシだ」と周囲に言っていた。流石に双葉山定次が横綱に昇進するとこのような発言は無くなったが、今度は逆に「双葉（山定次）を強くしたのはワシだ」と言うようになった。確かに男女ノ川は若い頃の双葉山にとって重要な稽古相手だったことは否めないが、少なくとも69連勝を達成して戦前を代表する大横綱となった双葉山定次に対して、幕内最高優勝が僅か2回、さらに皆勤負け越しも記録し、現役時代末期には東西制第2期の取組編成に助けられて平幕2ケタ台の力士との対戦が組まれたことでやっと2ケタ白星（当時15日制）に漕ぎ着けた男女ノ川の発言は信憑性に欠ける。
社伝によれば、仁和3年（887年）に明石の岡（赤松山とも。現・県立明石公園）にあった楊柳寺（後の月照寺）の覚証という住僧が夢中に柿本人麻呂の神霊がこの地に留まっているのを感得し、寺の裏の古塚がその塚であることが判明したために塚上に人麻呂を祀る祠を建てて寺の鎮守としたことに創まるという。ただし創祀の事情に関しては、人麻呂が水死させられたという説があるので本来は非業の死を遂げた人麻呂の怨霊を慰めるために祀られた可能性、あるいは『古今和歌集』に詠み人知らずの歌として「ほのぼのと明石の浦の朝霧に 島隠れゆく舟をしぞ思ふ」という歌が載せられ、左註に「ある人」の言として作者は人麻呂であるとされ、神社ではこの歌を縁起として重視していることと、人麻呂が文武天皇から下賜された船乗十一面観世音の仏像が大和国の柿本寺という寺にあったのを覚証が迎えて楊柳寺の奥の院に祀ったところ仏像の胎内から『和歌秘弁抄』なる書物1巻が出たとの伝承があることから、和歌を含めた秘事口伝が重んじられるようになった時代に「ほのぼのと」の歌が人麻呂作と信じられそのことが直接の契機となって、神社が創祀された可能性が考えられる。因みに当神社と密接な関係を持つ月照寺の寺伝によれば、覚証は大和国の広安寺なる寺から人麻呂の念持仏であった船乗十一面観世音を勧請して楊柳寺の奥の院に祀ると共に寺号を月照寺と改めたといい、また同寺では「ほのぼのと」の歌に「初生（ほのぼのと） 娑婆世界（あかしがうらの）朝立霧（あさきりに） 四魔滅（しまかくれゆく） 念仏（ふねをしぞおもふ）」との字を充て、各句を発心大円鏡智（生）、修行平等性智（老）、菩薩如観察智（死）、涅槃成行作智（病）、法界体性智（苦）の「生老死病苦」という仏教的摂理で解釈している。文明8年（1476年）4月に慶範という僧侶が大和添上郡の柿本寺（しほんじ。現・奈良県天理市に寺跡がある）の復興を目論んで行った勧進状に明石浦にも人麻呂の墓所があると記されているので、少なくとも当時までには広く知られる存在であったことがわかるが、天正9年（1581年）には豊臣秀吉が「播州明石の人丸は和歌第一の神仙」であると大明石村の新たに開墾した田地30石を寄進し、江戸時代に入って慶長17年（1612年）にもこれは安堵され、元和5年（1619年）に小笠原忠真が明石の岡に明石城を築城することになると、同7年に替地として現在地である小山の崖上に月照寺と共に移祀され新たに社領40石が寄進された。なお、遷座後は新鎮座地を人丸山と称するようになり（それまでは旧鎮座地を人丸山と称していた）、旧地にも人丸社が残されて明石城の鎮守とされ、これは後に廃絶したものの、人丸塚は本丸跡に現存している。柿本人麻呂の死去から1,000年に当たるとされた享保8年（1723年）に霊元上皇の執奏により正一位の神階と「柿本大明神」の神号が宣下されるとともに女房奉書が下賜され、命日とされた3月18日に盛大な一千年祭が営まれた。以来同日を例祭日と定め古今伝授や天仁遠波（てにをは）伝授が行われる際には必ず奉告がなされる例となったが、同年6月に霊元上皇が撫物を下付するとともに白銀3枚を寄せて3箇年の祈祷を命じると、桜町、桃園、後桜町天皇も当神社を勅願所と定め、また天皇を始め中宮、上皇、東宮といった皇室から時々の白銀奉納と撫物を下しての祈祷が恒例とされた他、宮廷人や歴代明石藩藩主からも和歌の神としての崇敬を受けた。明治7年（1874年）2月に村社に列し、同12年6月に郷社、大正15年（1926年）3月には県社に昇った。