Yudhoyono werd bijna onmiddellijk in zijn oude functie herbenoemd in het Kabinet van Wederzijdse Hulp door de nieuwe president Megawati Soekarnoputri. Hij voerde de onderhandelingen met de onafhankelijkheidsbeweging voor Atjeh, en bereikte in december 2002 een akkoord over verregaande autonomie voor het gebied. Megawatti maakte echter in het voorjaar van 2003 een einde aan het vredesproces door onder druk van de strijdkrachten opdracht te geven tot een offensief. Na de bomaanslagen op Bali in oktober 2002 leidde hij de jacht op (en de arrestaties van) de (vermoedelijke) verantwoordelijken en kreeg zowel binnen als buiten Indonesië een reputatie als een van de weinige Indonesische politici die de oorlog tegen terrorisme serieus namen. Hij kreeg veel lof van de Australische pers en bevolking voor zijn speech tijdens de herdenking (een jaar later) van de Bali-bom. In maart 2004 trad hij af, volgens geruchten na een ruzie met Megawati en haar echtgenoot. Het moment voor deze terugtreding werd algemeen gezien als verbonden met zijn voornemen mee te doen met de presidentsverkiezingen.