尊氏去世，翌年其兄赖章也去世，义长顿时失去了后盾，其政敌细川清氏、土岐赖康、畠山国清等人抓住这个时机串通起来排挤义长。延文5年，清氏等人以征讨河内国南朝残党的名义举兵，实则剑指义长。早已看破这步棋的义长的对策是挟天子以令诸侯，企图先下手为强控制二代将军足利义诠，但被义诠逃脱。义长随即逃亡伊势领地，并在翌年（1361年）投降南朝。在南朝一方的义长并没有什么传世之举。后来细川清氏、畠山国清失势，义长又复归幕府，此前的一切罪责都被赦免。但时过境迁，仅被授予伊势一国的守护职，而且不久之后就被免职。再往后，仁木氏的势