中岛四郡进行的一系列川中岛之战，在永禄7年（1564年）时，江马辉盛的父亲时盛附属于武田信玄，但辉盛却连同三木嗣赖、自纲与上杉谦信交好。后来因为时盛获得武田方军援，势力大于三木氏，因此辉盛之后也从属于武田方。永禄8年（1565年），武田信玄出兵越中进攻椎名康胤时，江马辉盛以先锋之姿攻入越中，因功获得越中新川郡的中地山城，江马辉盛因而被父亲派为城代镇守在两方的边境。椎名康胤于是役后投降武田方，但康胤于元龟2年（1571年）的松仓城之战被上杉谦信击败，松仓城遭到上杉重臣河田长亲接收，江马氏与上杉氏的领地也直接接