義家・義親・義忠・義綱と実力者を失い、河内源氏は源義光・源義国・源義時・源義隆を残すだけになった。義国は事件を起し関東の地で蟄居の身であり、また関東で常陸から勢力を広げる叔父義光と合戦に及ぶなど、義光との仲は険悪であった（義忠と義国は連合して叔父義光に対抗していたとする説もある）。そのため、河内源氏の勢力は関東でも徐々に衰え始める。義時は義忠から河内国の石川庄を与えられていたがその勢力は小さかった。義隆は無位無官で少年でもあった。よって義忠の死後は為義が河内源氏の棟梁となった。しかし、為義も少年であったために、河内源氏は伊勢平氏の蔭に隠れてしまう。河内源氏の復興は為義の子・源義朝に託されることになるがそれも叶わず、その子・源頼朝を待たなくてはならない。義忠の死後は平氏全盛となり河内源氏は雌伏を余儀なくされた。
義忠の叔父の源義光は義忠の権勢が高まるのに不満を感じ、自らが河内源氏の棟梁になることを望み、家人で長男、源義業の妻の兄である鹿島三郎に義忠を襲わせた。天仁2年（1109年）2月3日、義忠は三郎との斬りあいで重傷を負い、それが元で2日後に死去した。享年27。三郎は義光の兄弟である園城寺の僧侶・快誉の下へ逃げて保護を求めたが、快誉によって殺害された（源義忠暗殺事件）。義忠の暗殺は当初、従弟で叔父（義光の兄）源義綱の子・源義明とその家人・藤原季方の犯行とされたため、義忠の甥(弟という説もある)・源為義は義綱の一族を甲賀山に攻め、義綱の子らは自決し、義綱も捕らえられ佐渡へ流された。しかしその後になって義光の犯行であったことがわかった。これにより河内源氏は義忠・義綱という2人の実力者を失い、義光も暗殺事件の黒幕であることが発覚したため常陸に逃亡。都には為義が残されることとなり、後見人のいない源氏は衰退した。
嘉承元年（1106年）に父が死去すると、河内源氏はその勢力を縮小せざるを得なかった。また、義忠の兄・義親が西国で叛乱を起こし新興勢力で義忠には舅にあたる伊勢平氏の平正盛が討つという事態となり、河内源氏より伊勢平氏が優勢になり始める。朝廷でも白河上皇が院政を行い、摂関家とゆかりの深い河内源氏に替えて伊勢平氏を露骨に登用するようになる。明らかに河内源氏は衰退期を迎えた。義忠は若年ながら河内源氏の屋台骨を支えるべく、僧兵の京への乱入を防ぐなど活動する。また、新興の伊勢平氏と折り合いをつけるべく、平正盛の娘を妻にし平家との和合をはかり、また妻の弟で正盛の嫡男の烏帽子親となって「忠」の一字を与え「平忠盛」と名乗らせるなど、親密な関係を築いた。そして、院政にも参画しつつ、従来からの摂関家との関係も維持すべく努力した。その結果、「天下栄名」と評せられる存在となった。しかし、河内源氏の中では新興の伊勢平氏との対等の関係を結んだ義忠のやり方に不満も多く、伊勢平氏と和合することで院政に接近した義忠が勢力を伸ばしたことを快く思わない源氏の一族の勢力も存在した。また、義家にくらべ武威に劣る義忠を軽んじ、自らが義忠に取って代わろうとする勢力も存在した。
頼母木源吉の養子となり東京府（現・東京都）で育つ。東京第一高等中学校（旧制一高）卒業後、米国に留学。帰国後、浅草区会議員を務めたのち実業界に転じ、東京毎日新聞（旧横浜毎日新聞、現在の毎日新聞とは無関係）社長、第一自動車、日本タイプライター取締役、帝国通信社、ジャパンプレス社長などを務め実業家として名を馳せた。1896年（明治29年）同郷の先輩・熊田葦城の推薦で報知社（報知新聞社）入社。1899年（明治32年）朝野新聞の再興を企て同社社長。1901年（明治34年）再び報知社に復帰、広告部主任等で三木善八社主を助け大いに手腕を振るう。業務局長時代の1906年（明治39年）には、他社に先駆け夕刊を発行し読者を激増させた。松村謙三は当時の部下である。また新設した「職業案内」欄を見て募集してきた松岡もと子（後に結婚して羽仁もと子）を採用した。1903年（明治36年）頼母木家の婿養子となる。1906年（明治39年）欧米を視察し新聞事業を研究、3年後に帰国し日本初の新聞代理業・ジャパンプレスエージェンシーを創立。また、生フィルムの輸入業をしていた関係で1910年（明治43年）、伊藤博文暗殺の実写映画を買い受け両国国技館で公開し利益を上げた。日活の創立にも関係したといわれる。1911年（明治44年）東京市会議員。1915年（大正4年）第12回衆議院議員総選挙に立憲同志会公認で東京府東京市区から立候補し初当選。以降連続9回当選。中選挙区制が導入されてからは東京府第3区を選挙区とした。憲政会・立憲民政党に所属し、同党総務や幹事長などを歴任。1936年（昭和11年）の廣田挙国一致内閣で逓信大臣となる。大臣在任中、船舶六百万トン主義、海運国策五ケ年計画を打ち出し、積極的な造船業支援政策を実施した。また電力国営化法案を提出、工業界に一大革命をもたらした。大臣辞任後の1938年（昭和13年）報知新聞社長となり更に1939年（昭和14年）、政党人としては異色の第17代東京市長になったが、在任わずか10ヶ月で病死した。1941年（昭和16年）その功績を讃えて居住した現在の蔵前3・4丁目あたりが、地元の要望で浅草桂町と名付けられた（1964年消滅）。妻は明治後期から昭和の初期にかけて東京音楽学校（現・東京藝術大学）助教授・教授として多くのバイオリニストを育成した頼母木駒子（別称＝こま、1874年4月1日 - 1936年10月14日）、養子は政治家の頼母木真六。