大约在天文年间左右，受到了金光备前‧金光宗高特别的庇护，宗高更从比叡山招来高僧。天正元年（1573年）时，宇喜多直家入主石山城，修筑城郭时，将寺院的主体移至城西。接着在天正18年（1590年），由宇喜多秀家移往山崎町，而在庆长6年（1601年）则由小早川秀秋移至磨屋町。庆安5年（1652年），冈山寺与光珍寺分为2寺直至今日。光珍寺现位于冈山寺正西，仅有狭小道路之隔的对侧。昭和20年（1945年）6月29日冈山空袭时，本堂、如来堂、三王堂、客殿，及厨房全数烧毁，仅剩下本尊以外的一点东西。现在的寺院则为战