また、幕末から明治にかけて行われた廃仏毀釈運動により一乗院は廃寺とされ、さらに昭和に隣の枕崎市に近代的な築港が完成すると、より一層衰退することとなった。
明治初年日本政府实施废佛毁释政策导致一乘院的废寺，同时由于昭和年间附近的枕崎市完成了近代港口的建造，坊津港再度衰退。