金光宗高控制此地。直家效忠备前守护代浦上氏一族浦上宗景，在备前西部急速扩张。1573年直家将居城由龟山城迁移此地。对比起主家的天神山，规模仍然细少。1575年浦上宗景兄长政宗将宗景放逐，宇喜多直家拥立孙久松丸。1581年直家病逝。之后继承直家的是秀家，先后获得织田信长和丰臣秀吉支持，继续拥有冈山城领地。在天正18年至庆长2年（1590年至1597年）进行多次大规模的增筑，发展城下町。
江户时代.1600年（庆长5年），关原之战西军主力宇喜多秀家最终被流放到八丈岛。由小早川秀