しかし、上記のように武功を重ね、義家、義綱(美濃守)、義光(新羅三郎)兄弟の頃には清和源氏最大の勢力となっていた(ただし、義家と義綱の仲は悪く、義綱は中央で昇進を重ねた。