上神高直的石山台（冈山）筑城，是《备前军记》记载最早的资料，之后150多年的城主资料不明。在大永年间（1521年 - 1528年）是金光氏的居城当时金川城主是松田氏。元龟元年（1570年）、宇喜多直家暗杀金光宗高控制此地。直家效忠备前守护代浦上氏一族浦上宗景，在备前西部急速扩张。1573年直家将居城由龟山城迁移此地。对比起主家的天神山，规模仍然细少。1575年浦上宗景兄长政宗将宗景放逐，宇喜多直家拥立孙久松丸。1581年直家病逝。之后继承直家的是秀家，先后获得织田信长和丰臣秀吉支持，继续拥有冈山城