だが、長年にわたり足利氏の家宰を務め、元々は高義に仕えていたとみられる高氏と対立し、尊氏も高氏を重んじるようになったことから、上杉氏は直義との関係を強め、尊氏・高氏と直義・上杉氏の争いになった観応の擾乱では重能は殺害され、朝定は病死するなど、雌伏の時期を迎える。