造宅邸，又因故与土岐赖康发生争执，仁木兄弟与其他武将的矛盾渐渐激化。延文3年（南朝正平13年，1358年）尊氏去世，翌年其兄赖章也去世，义长顿时失去了后盾，其政敌细川清氏、土岐赖康、畠山国清等人抓住这个时机串通起来排挤义长。延文5年，清氏等人以征讨河内国南朝残党的名义举兵，实则剑指义长。早已看破这步棋的义长的对策是挟天子以令诸侯，企图先下手为强控制二代将军足利义诠，但被义诠逃脱。义长随即逃亡伊势领地，并在翌年（1361年）投降南朝。在南朝一方的义长并没有什么传世之举。后来细川清氏、畠山国清失势，义长又复