山市在古代是吉备国的一部分。在弥生时代和古坟时代，吉备国是和筑紫、出云、大和、毛野并列的大型政权。冈山市的中山茶臼山古坟、神宫寺山古坟、造山古坟等遗迹就是古代吉备文化的遗迹，其中造山古坟在修筑当时是日本最大的古坟，也是日本现存古坟中第四大古坟。飞鸟时代后期，为抑制吉备国的势力，吉备国被大和政权分为备前国、备中国、备后国、美作国四国，备前国的国府位于现冈山市辖区内。平安时代时，冈山市内曾有贵族的庄园鹿田庄。进入鎌仓时代后，关东武士成为冈山地区新的领主。室町时代后，冈山地区是赤松氏（播磨、备前、美作守