臣河田长亲接收，江马氏与上杉氏的领地也直接接壤。根据《上杉文书》记载，江马辉盛在元龟2年（1571年）四月向从越中国凯旋而回的上杉谦信贺捷的文书，甚至在元龟3年（1572年）九月时亲自去谒见当时正出阵越中的上杉谦信。元亀4年（1573年）4月，武田信玄去世，辉盛察知后派家臣河上富信将消息通报通上杉氏（河田长亲）。天正元年（1573年）七月（也有天正六年的说法），江马辉盛杀害亲善武田家的父亲江马时盛，夺取了江马家的实权，并从属上杉家，但在天正4年时（1576年）又一度倒向武田家，但遭到盐屋秋贞联合上杉