将寺院的主体移至城西。接着在天正18年（1590年），由宇喜多秀家移往山崎町，而在庆长6年（1601年）则由小早川秀秋移至磨屋町。庆安5年（1652年），冈山寺与光珍寺分为2寺直至今日。光珍寺现位于冈山寺正西，仅有狭小道路之隔的对侧。昭和20年（1945年）6月29日冈山空袭时，本堂、如来堂、三王堂、客殿，及厨房全数烧毁，仅剩下本尊以外的一点东西。现在的寺院则为战后之物。