室町時代には播磨守護の赤松氏の政治的な本拠として使用されていたが、嘉吉元年(1441年)の嘉吉の乱により赤松氏が一旦滅亡した後に山名氏の支配下となった。