天仁2年(1109年)、河内源氏の棟梁であり、従兄弟でもある源義忠が暗殺されるという事件(源義忠暗殺事件)が発生し、父・義綱と兄・義明がその暗殺犯とされた。