天正18年）大幅扩建石山城并改名为冈山城，同时还兴建了城下町，并吸引各地商人来到冈山，促进了城市发展。然而关原之战后，宇喜多秀家被流放至八丈岛，小早川秀秋成为新的冈山城主。小早川秀秋作为冈山城主的历史虽然不到两年，但却积极改建冈山城和城下町。1602年（庆长7年），由被称为「西国将军」的池田辉政之子接替小早川秀秋成为冈山城新的城主。此后直到明治维新，池田氏都是冈山城的城主。在池田藩政安定期的17世纪后期至18世纪，池田家修筑了日本三名园之一的后乐园。自江户时代开始，冈山就是山阳道、濑户内海航路和前往山阴的交