子唐僧如宝所创建。但是，乙牟漏是在延历9年（790年）去世，如果正如寺传所言，那花了相当多年才兴建完成。天正13年（1585年）受到丰臣秀吉的兵火波及，包含现在残存在山里的药师堂（现在本堂）和多宝塔等建筑全部被烧毁。经历了长期的荒废，在正保4年（1647年）由纪州藩的初代藩主德川赖宣再度复兴。