再度从属上杉家。在天正5年（1577年）时在上杉谦信入侵能登时也奉命防备织田信长。而一直和江马家在飞驒国分据的姉小路赖纲则依靠织田信长壮大势力，使江马辉盛在上杉谦信于天正6年（1578年）病故后偃旗息鼓，直到天正10年（1582年）织田信长横死于本能寺之变后，悍然发兵与姉小路赖纲争夺飞驒国的霸权，结果江马辉盛却在八日町之战战败身亡，居城高原诹访城随后失陷，其子江马时政逃往越中依赖金森长近。