后，浦上氏成为冈山地区新的统治者。16世纪初，在冈山修筑了小规模的城郭。看中冈山便利地理位置和广阔土地的宇喜多直家在1570年（元龟元年）攻占冈山，并大幅扩建城郭，将其命名为石山城，且自1573年（天正元年）开始以石山城作为本据地。宇喜多直家的继承者宇喜多秀家在丰臣政权中有重要地位，是石高达57万石的大名。宇喜多秀家自1590年（天正18年）大幅扩建石山城并改名为冈山城，同时还兴建了城下町，并吸引各地商人来到冈山，促进了城市发展。然而关原之战后，宇喜多秀家被流放至八丈岛，小早川秀秋成为新的冈山城主。小早川秀