築城から約100年後の1590年(天正18年)徳川家康の関東移封に伴い、奥平氏も関東に移り廃城となった。