文禄3年(1594年)に波多氏が追放されると寺沢広高が領主となり、当城に入った。