亲源义家评价称与祖父源赖义很相似。嘉承元年（1106年）父亲死后，义忠继承家督之位。由于义母兄源义亲在西国叛乱被伊势平氏的平正盛平定，伊势平氏获得白河上皇的重用，河内源氏势力衰退。为与新兴的伊势平氏搞好关系，他和平正盛的女儿结婚，并成为平正盛嫡子的乌帽子亲，赐予其偏讳「忠」字，取名平忠盛。源义家还积极参与院政并且努力维持与摄关家的关系，被评论为「天下荣名」。然而与新兴的伊势平氏结为对等关系引起家族内部成员的不满。其叔父源义光就对义忠权势之高非常不满，欲取而代之。天仁二年（1109年）2月3日，鹿岛三郎（