远藤盛数于永禄二年（1559年）筑城，其后、城主为井上、金森氏，宝暦８年（1758年）青山氏以四万八千石领城。
历史.远藤盛数之长子庆隆继承成为领主，但本能寺之变后，因为庆隆是在织田信孝的保护伞下所以被丰臣秀吉驱逐。 庆隆流亡后稻叶贞通变成城主, 此时的外城、城堡和天守阁已经建成。后来庆隆于关原之战立功再次成为城主。其后的5个领主都是远藤家族，远藤家族后的城主有井上氏2代、金森氏2代和青山氏7代。到了青山幸宜当城主时正好是日本明治维新的年代，因为废藩置县所以废除了所有的封建领主，