1573年（天正元年）开始以石山城作为本据地。宇喜多直家的继承者宇喜多秀家在丰臣政权中有重要地位，是石高达57万石的大名。宇喜多秀家自1590年（天正18年）大幅扩建石山城并改名为冈山城，同时还兴建了城下町，并吸引各地商人来到冈山，促进了城市发展。然而关原之战后，宇喜多秀家被流放至八丈岛，小早川秀秋成为新的冈山城主。小早川秀秋作为冈山城主的历史虽然不到两年，但却积极改建冈山城和城下町。1602年（庆长7年），由被称为「西国将军」的池田辉政之子接替小早川秀秋成为冈山城新的城主。此后直到明治维新，池田氏都是冈山