。然而与新兴的伊势平氏结为对等关系引起家族内部成员的不满。其叔父源义光就对义忠权势之高非常不满，欲取而代之。天仁二年（1109年）2月3日，鹿岛三郎（义光长男源义业的妻兄）对其进行暗杀。义忠重伤，两天后死去，时年27岁。鹿岛三郎逃往义光的兄弟快誉居住的园城寺以求保护，被快誉杀死。此即为着名的源义忠暗杀事件。源义纲、源义光两位重要的家族成员受到此次事件的牵连，河内源氏走向没落。