为抑制吉备国的势力，吉备国被大和政权分为备前国、备中国、备后国、美作国四国，备前国的国府位于现冈山市辖区内。平安时代时，冈山市内曾有贵族的庄园鹿田庄。进入鎌仓时代后，关东武士成为冈山地区新的领主。室町时代后，冈山地区是赤松氏（播磨、备前、美作守护）和山名氏（备后、伯耆守护）激烈争夺的地区。进入战国时代之后，浦上氏成为冈山地区新的统治者。16世纪初，在冈山修筑了小规模的城郭。看中冈山便利地理位置和广阔土地的宇喜多直家在1570年（元龟元年）攻占冈山，并大幅扩建城郭，将其命名为石山城，且自1573年（天正元年