天文3年(1534年)、子・貞忠の代に府中家の小笠原長棟に松尾を攻められると、敗れて甲斐国に逐電し甲斐武田氏を頼ることとなった。