Walaupun menghadapi tentangan di dalam partinya, beliau berjaya mendapat sokongan pengundi dalam pilihanraya umum 2002. Hal ini berlaku kerana beliau telah bertindak untuk tidak menyokong penaklukan ke atas Iraq yang dianjurkan oleh Amerika Syarikat dan sekutunya. Perang itu, yang amat tidak popular di seluruh Jerman, berjaya digunakannya meraih undi untuk terus berkuasa. Namun, beberapa siri skandal yang melibatkan menteri-menteri kabinetnya selain usahanya untuk mengekang dan mengecilkan sistem kebajikan sosial di negara itu, menyaksikan partinya tewas kepada CDU di dalam beberapa pilihanraya negeri selepas itu. Pada tahun 2004 beliau bertindak meletak jawatan sebagai Pengerusi partinya kerana mahu menumpukan dirinya terhadap usaha-usaha pembaharuan yang dibawakan oleh kerajaan pimpinannya. Beliau digantikan oleh Franz Muntefering yang juga merupakan sahabat dan penyokong kuatnya di dalam parti.