6月、司馬顒配下の馬瞻らは長安に入って梁柳を殺害し、始平郡太守梁邁と共に太白山から司馬顒を迎え入れた。だが、司馬顒は長安に再び入る事により、さらに恨みを買う事を恐れたが、長安令蘇衆・記室督硃永は司馬顒へ「梁柳は病没したと称するのです。そうすれば張方を始末した誠意も伝わるでしょう。」と述べたので、これに従った。だが、弘農郡太守裴廙・秦国内史賈龕・安定郡太守賈疋らはこれに反発して挙兵し、馬瞻と梁邁を討伐した。司馬越もまた督護糜晃を派遣して司馬顒を攻撃させた。糜晃が鄭県に入ると、司馬顒は平北将軍牽秀を馮翊に駐軍させて糜晃を防がせたが、司馬顒の長史楊騰は司馬顒の命と偽って牽秀に戦闘を中止させ、隙を見て牽秀を殺した。これにより、関中勢力は全て司馬越に帰順してしまい、司馬顒はただ長安だけを保つのみであった。12月、司馬越は朝政の混乱を鎮める為、詔書を用いて司馬顒を司徒に任じ、洛陽へ招聘した。司馬顒はこれを受けて洛陽に向かったが、司馬越の弟である南陽王司馬模はこれを認めず、密かに配下の梁臣を派遣し、河南郡新安県で雍谷の車上にて司馬顒を絞殺した。司馬顒の三子もまた殺された。詔があり、彭城元王司馬植（司馬孚の四弟の司馬馗の子の司馬権の子）の子の司馬融を司馬顒の後継として、楽成県王に改封した。
司馬越は祁弘・宋冑・司馬纂に鮮卑兵を与えて長安攻略に向かわせ、恵帝奪還を命じた。また、周馥を司隸校尉に任じ、符節を与えて諸軍を監督させ、澠池に駐軍させた。4月、司馬越が温県に駐軍した。司馬顒は張方の首と引き換えに司馬越らが兵を退く事を期待していたが、司馬越軍は張方が死んだと聞くと、逆に先を争って函谷関に入るようになった。司馬顒は張方を殺害した事を後悔し、郅輔を咎めて処刑した。また、弘農郡太守彭随と北地郡太守刁黙を湖県に派遣して祁弘らの進軍を阻ませた。5月、祁弘は彭随と刁黙に大勝し、函谷関を突破した。司馬顒は大いに恐れ、馬瞻と郭伝を灞水に派遣して防戦させたが、馬瞻らは敗戦して兵は散亡した。司馬顒はこれを聞くと、遂に単身で長安から太白山へ逃走してしまった。祁弘らが長安に入城すると、司馬顒の百官もまた山中に逃走した。祁弘らは恵帝を牛車に乗せて東に帰還し、太弟太保梁柳を鎮西将軍に任じて関中を守らせた。
2004年5月23日に連邦会議が行われ、第1回投票で過半数を制したケーラーが第9代連邦大統領に選出された。ケーラーは前歴に政治活動歴がない初めての連邦大統領である。また連邦大統領としては、初めてのドイツ国外生まれである。2004年7月1日、宣誓式を行って就任した。連邦大統領に政治的実権はないが、ケーラーは折にふれてその時の政治状況に意見する傾向がある。2004年11月3日、シュレーダー政権が休日を減らすためにドイツ統一の日（10月3日）を固定の祝日から外して、土曜か日曜の移動祝日に変更する案を発表したとき、ケーラーは公然とこれに反対した。ケーラーの直言は大きな支持を得て、政府はこの案を撤回した。2005年3月には失業対策を最優先するよう各党に要求している。2007年には出演したテレビのトーク番組で国民の直接選挙による連邦大統領選出を提案して、与野党から批判されたこともある。2005年2月2日、イスラエルを初訪問。国交樹立40周年を記念して、前任者のヨハネス・ラウに次いで2番目のイスラエル国会で演説した元首となった。イスラエル国会の一部議員は、英語に堪能なケーラーはホロコースト経験者の感情に配慮して、ドイツ語ではなく英語で演説するべきだと要求した。ケーラーはそれに配慮したのか最初の挨拶をヘブライ語で行ったが、あとはドイツ語で演説した。時に涙声になりながらホロコーストについてのドイツの責任を認めて謝罪し、ドイツは反セム主義との戦いや中東和平に貢献する責任があると述べた。同年5月8日は第二次世界大戦の終戦60周年だったが、その演説でもドイツの責任に終わりはないと述べた。保守派の一部には「戦後ドイツの成功の歴史」についての言及が少ないという不満が起きた。2005年7月、連邦議会選挙を1年前倒し実施したいというシュレーダー首相の意向で内閣信任案がわざと否決されたため、ドイツ連邦共和国基本法第68条により連邦議会を解散した。連邦議会の解散は33年ぶりのことであった。この選挙の結果シュレーダー政権は退陣し、アンゲラ・メルケル政権が誕生した。2006年10月、ケーラーはドイツ連邦共和国基本法に抵触するという理由で、連邦政府が作成し連邦議会が可決した航空安全法への承認署名を初めて拒否した（2007年2月、連邦憲法裁判所がこの法律を違憲と認めた）。同年12月には同様に消費者保護新法が地方自治の原則に反するとして署名を拒否している。このほか安楽死に明確な反対を示したり、リビング・ウィルに関する法整備を主張したりと、倫理に関する発言も多い。2009年5月23日の連邦会議においては、キリスト教民主同盟(CDU)及び自由民主党(FDP)の支持を得て、連邦大統領に再選した。2010年5月21日にはアフガニスタンを突然訪問。その際に同行記者のインタビューに応じて“自由な通商路を確保するとともに、ドイツの貿易への悪影響を阻止するため、地域の不安定化を防がなければならない”と訴え、「外国との貿易に大きく依存しているドイツのような国は、国益を守るため、緊急時には軍事介入する必要がある」と発言。これを与野党双方から軽率であると批判された。5月31日、発言の責任を取るとして突如辞任を発表した。連邦大統領の任期中の辞任は、これが初めてであった。大統領退任後は、元大統領としてアフリカ支援などの慈善活動や国際親善行事に積極的に参加している。