拜访此地的空海（弘法大师）为了受传染病蔓延之苦的人们，在津岛牛头天王社（现在的津岛神社）旁边，建设了奉祀祭拜药师佛的建筑为起源。至江户时代，作为神宫寺的天王社在墙内设置了本地堂，玉墙西边则分别建立了实相院、明星院、宝寿院，离神社较远则建立了观音坊。明治时代，因为神佛分离而全面废除了神宫寺，在1868年（明治元年）旧历5月至7月在境内的本地堂和钟楼、宝箧印塔被摧毁。此时，应宝寿院的住持宥三等社僧之请求，将本地堂的本尊和经文等等曾全部移至实相院，但因为实相院、明星院的社僧决定还俗，在同年8月，从本地堂移来的