Il centro originale di Bizen era in quella che è la moderna città di Okayama. Fin dai primi tempi Bizen fu uno dei centri principali giapponesi per la forgiatura di spade katana. Nel Periodo Muromachi Bizen era governata dal clan Akamatsu di Mimasaka, ma nel Periodo Sengoku era dominante il clan Urakami insediato nella città di Okayama. Più tardi furono soppiantati dal clan Ukita, il cui leader, Ukita Hideie fu uno dei reggenti nominati da Toyotomi Hideyoshi per vegliare su suo figlio. Dopo la Battaglia di Sekigahara, Tokugawa Ieyasu assegnò i domini di Bizen e Mimasaka a Kobayakawa Hideaki come premio militare; dopo di lui il terreno passò al Clan Ikeda che lo gestì fino alla fine del Bakufu.