公方等家族亦陷入内纷状态（永正之乱）。后北条氏利用这次騒动来侵占相模，永正13年（1516年），扇谷家在相模的重镇三浦道寸灭亡。不久后后北条氏更开始侵攻武藏，大永4年（1524年），上杉朝兴（上杉朝良的外甥‧下任扇谷家当主）从江户城逃往川越。甲斐的武田信虎（信直）与两上杉氏建立同盟并与后北条氏对决。扇谷朝兴在天文2年（1533年）把女儿嫁给信虎的嫡男武田晴信（后来的信玄）来缔结婚姻关系，但是武田信虎在扇谷朝兴死去的天文7年（1538年）与后北条氏和睦并背弃了扇谷家。扇谷朝兴的儿子上杉朝定与山内家和解