ところが天正9年(1581年)2月に上杉軍が来襲した際に、上杉軍に内通していたとの疑いをかけられ、5月4日未明、菅屋長頼の織田軍に居城を攻められ、家臣が内応して落城した。