平.江马辉盛是飞驒豪族江马时盛的嫡男，由于飞驒国人众彼此争夺领地，因此也卷入越后国上杉谦信及甲斐国武田信玄之间，于信浓国北部的川中岛四郡进行的一系列川中岛之战，在永禄7年（1564年）时，江马辉盛的父亲时盛附属于武田信玄，但辉盛却连同三木嗣赖、自纲与上杉谦信交好。后来因为时盛获得武田方军援，势力大于三木氏，因此辉盛之后也从属于武田方。永禄8年（1565年），武田信玄出兵越中进攻椎名康胤时，江马辉盛以先锋之姿攻入越中，因功获得越中新川郡的中地山城，江马辉盛因而被父亲派为城代镇守在两方的边境。椎名康胤于是役后