后到海边撒网从海中捞出一尊弘法大师的神像，并在海边建了一座小庙祭拜这尊神像。1128年（大治3年）时，来自高野山的高僧尊贤上人在周游诸国的途中来到平间建立的小庙，觉得这尊弘法大师的神像颇为不可思议，因此正式开山设寺，并以平间的姓氏替寺院命名，成为第一代的住持。平间寺经常和高尾山药王院、成田山新胜寺并称真言宗智山派之关东三大本山，而其总本山则是位于京都东山七条的智积院。