相傳喺慶長8年（1603年）清洲刧主松平忠吉曾經喺境內祭祀素盞鳴尊嘅祠內祈求病情康復而且得償所願，喺慶長11年將呢間祠東移成為富部神社，又起咗書院、客殿等等嘅建築物。