兼任伊势、伊贺、志摩、三河、远江五国的守护职。兄弟二人同时领有的采邑一度达到九国之多，成为幕府中首屈一指的势力。权势滔天的义长逐渐变得骄奢跋扈，先是企图在细川清氏的领地三条西洞院上建造宅邸，又因故与土岐赖康发生争执，仁木兄弟与其他武将的矛盾渐渐激化。延文3年（南朝正平13年，1358年）尊氏去世，翌年其兄赖章也去世，义长顿时失去了后盾，其政敌细川清氏、土岐赖康、畠山国清等人抓住这个时机串通起来排挤义长。延文5年，清氏等人以征讨河内国南朝残党的名义举兵，实则剑指义长。早已看破这步棋的义长的对策是挟天子以令