長井館は、昭和に至るまで渡辺氏の館として存続し続けたが、第二次世界大戦で渡辺氏の当主が病没し後継者がなく渡辺氏が断絶すると、屋敷は廃され、土地は分割されて民家や小学校などの用地となり、その遺構は完全に破壊されて消滅した。