据详细记载了冈山寺概要的寺传「备阳记」，冈山寺是在天平胜宝元年（749年），奉报恩大师命令开立四十八寺时，第二个创立的寺院。虽然此后荒废了，但在天历年间由信源上人所中兴。并且，如依据另一寺传「冈山寺观音由来记」，当时在から川（现在的辛川）受压迫而劳动的野武士，从地底挖掘出千手观音，建立了观音堂而开创了寺院。大约在天文年间左右，受到了金光备前‧金光宗高特别的庇护，宗高更从比叡山招来高僧。天正元年（1573年）时，宇喜多直家入主石山城，修筑城郭时，将寺院的主体移至城西。接着在天正18年（1590年），由宇喜