その後1666年(寛文6年)岡山藩主池田光政の寺社整理によって廃寺となるが、港町尻海の商人や水主等海運業と関係が深く元禄7年(1694年)に再興されたもの。