1565年），武田信玄出兵越中进攻椎名康胤时，江马辉盛以先锋之姿攻入越中，因功获得越中新川郡的中地山城，江马辉盛因而被父亲派为城代镇守在两方的边境。椎名康胤于是役后投降武田方，但康胤于元龟2年（1571年）的松仓城之战被上杉谦信击败，松仓城遭到上杉重臣河田长亲接收，江马氏与上杉氏的领地也直接接壤。根据《上杉文书》记载，江马辉盛在元龟2年（1571年）四月向从越中国凯旋而回的上杉谦信贺捷的文书，甚至在元龟3年（1572年）九月时亲自去谒见当时正出阵越中的上杉谦信。元亀4年（1573年）4月，武田信玄去