トニー・ブレア首相の腹心として貿易・産業相を務めるが、金銭がらみのスキャンダルで辞任。またこれは、ブラウンのスピン・ドクター・チャーリー・ウェランによるリークであるとされている。その後もモー・モーラムの後を引き継いで北アイルランド大臣になるが、インド人のイギリス市民権取得に絡むスキャンダルで再度辞任。2004年にバローゾ新欧州委員長の下で、ブレア首相に推挙され欧州委員のメンバーになる（通商問題担当）。アメリカに槍玉にあげられたエアバスの補助金問題に取り組むほか、ドーハ・ラウンドの進展にも意欲的。欧州連合の農業関税の削減率を途上国提案である54％に近づけると主張（日本とスイスは反対している）。2008年10月に不人気のブラウン首相に呼び戻され、民間企業・規制改革担当相になって金融危機で落ち込むイギリスの経済の再生に取り組む。同時に一代貴族として貴族院議員になる（イギリスでは下院議員か貴族院議員でないと閣僚になれないため）。2009年3月6日、ヒースロー空港の拡張工事に反対する団体の女性から、緑色のカスタードを投げつけられる事件が発生。マンデルソンは後のテレビ出演で「彼女は緑色のスープのようなものを私の顔に浴びせようと必死で、何に抗議しているのか、私に言うことを忘れてしまったようだ。ともかく、ペンキじゃなくて助かった。こうして無事でいられたからね」と一蹴。ブラウン首相も、「彼がグリーン（環境保護主義者）かどうか疑う声もあるようだが、これではっきりした。彼はグリーンだ」とジョークで擁護した。2009年6月5日の内閣改造で副首相に相当する「筆頭国務大臣」に任命され、同時に枢密院議長、新設のビジネス・イノベーション・技能大臣（ビジネス・企業・規制改革省とイノベーション・大学・技能省の合併省庁の主任大臣）に就任した。2010年の総選挙で労働党が敗北し、ブラウン首相が退陣したことに伴い、閣僚ポストを5月11日をもって退任。
その後、1992年の総選挙で庶民院議員として立候補することを決断するが、党首キノックはマンデルソンの出馬に乗り気ではなかった。このとき彼の力となったのがトニー・ブレアで、マンデルソンはブレアの隣の選挙区であるハートルプール選挙区から出馬。ブレアは自分の選挙参謀をマンデルソンにつけたり、自宅の一室を貸し与えるなど、協力を惜しまなかった。このブレアによる援助もあり、初当選を果たす。その後、トニー・ブレア、ゴードン・ブラウンらと共に「モダナイザー」と呼ばれる党近代化を目指すグループの筆頭格となり、「ニューレイバー」建設のために奔走する。キノック党首辞任後の党首選では、ブレア擁立こそ実現しなかったものの、党首選直後の日曜紙サンデー・タイムスに「待機中の労働党新リーダー」と銘打ってトニー・ブレアを取り上げさせるなど、着々と布石を打った。1994年、党首ジョン・スミスが急死すると、モダナイザーグループからの党首候補者として、ブレアとブラウンのどちらかを推すのかという問題が現実的なものとなった。ここでのマンデルソンの行動ははっきりとはしないが、ブレア擁立のために水面下で動いていたことは確実である。多くの支持を取り付けたブレア陣営は党首選に勝利し、新党首に就任する。それまでブレア、ブラウン、マンデルソンの3人は同志的絆で結ばれていたが、これを機にマンデルソンとブラウンの仲は決定的に悪化してしまう。1997年の総選挙で選挙キャンペーン・マネージャーとして労働党を大勝利に導いた。それ以来SPIN・DOCTOR（スピン・ドクター）の異名を持つ。
文面については#外部リンクを参照。山本の遺した遺書は、死の間際に視力も薄れ、寝返りも打てないほどの激痛の最中、わずか1日で書いたにもかかわらず、ノート15ページ、約4500字に及ぶ長文であった。衰弱の中で最後の力を振り絞ってそれほどの長文を書きあげた山本に、仲間たちは執念を感じた。また仲間たちは遺書の内容に、シベリアで空しく死んでいったすべての人たちの想いが籠められていると感じ、山本個人の遺書であると同時に自分たちの遺書でもあり、収容所で死んだ日本人全員が祖国のすべての日本人たちに宛てた遺書として受け取った。辺見じゅんは、『収容所から来た遺書』執筆のきっかけとなった遺書について、以下のように感想を語っている。後になって知ったことだが、字数にして約四千五百字、それも癌で亡くなる一ヵ月半前に一晩で書かれたものだった。驚嘆すべき生命力であり、これを書かねば死ぬに死ねないといった一人の男の凄まじい執念の結晶だった気がする。(中略)その遺書の一通ずつに私は引き込まれた。老いた母親に先立ってゆく不孝を詫びる息子としての切々とした思い。妻のモジミさんに子等を託す夫としての信頼と感謝にみちた遺書。それらに胸が熱くなったが、何よりも心を動かされたのは、四人の子供たちに宛てられた遺書だった。ああ、これは山本さんの子供たちに宛てた遺書というだけでなく、私たち日本人の全てに向けられた遺書であり、力強いメッセージではなかろうかとさえ思った。 — 辺見 1990, pp. 339-340より引用その子供たちのうちの1人、長男の山本顕一（立教大学名誉教授）は、大学生当時に遺書を読んだときの感想をこう述べている。こんなに大きなものを受け取って、むしろ困った。これに応えなければ、とこれまで生きてきた。（中略）私がすべきことを皆、辺見さんがしてくださった。辺見さんが父の遺書を見つけたのは、父の言葉が世に知られることを欲していたからではないか。 — 読売新聞 2013, p. 31より引用美術家の太田三郎は、兵庫県の西宮市大谷記念美術館で回顧展「2000-2001 太田三郎」開催時、山本の遺書を書き写した作品『最後に勝つものはまごころである』を出展しており、同展で最も反響を呼んだ作品がこれであった。「最後に〜」は山本が遺書において、子供たちに宛てた箇所の1節だが、太田はこれを何度も書き間違えそうになったことから、遺書を暗記した者たちの凄まじい気力を実感するとともに、命がけで暗記する価値のある文章だと理解したという。