I egenskap av å være Norges utenriksminister var Petersen formann i Europarådets ministerkomité da Norge hadde formannskapet i Europarådet fra mai til november 2004. Jordskjelvet i Indiahavet i 2004 utløste en tsunami. Tsunamien tok livet av blant andre 84 norske statsborgere, i all hovedsak personer på ferie i Thailand. Petersen dro raskt til Sørøst-Asia som myndighetenes representant, og holdt hjemlandet oppdatert om situasjonen. Regjeringen tapte sitt parlamentariske grunnlag ved stortingsvalget i 2005, da Høyre fikk 14,1 % av stemmene. I mellomtiden hadde Petersen gått av som partileder til fordel for kommunalminister Erna Solberg i 2004. På det tidspunktet hadde Solberg vært blant Petersens mest fortrolige medarbeidere i mange år.