『烏山城主書上』によれば泰之の死後、弟の泰直と甥の房長との間で家督争いが起き、騒動の結果、家が滅んだと記されているが、『断家譜』によれば泰之に実子がないという理由から領地が召し上げられたと記されている。