Toen Schröder in 1998 van Kohl bij de Bondsdagverkiezingen van 1998 won, maakte hij Scharping minister van Defensie. Tijdens zijn ambtstijd deed Duitsland voor het eerst sinds 1945 mee aan een militaire actie, namelijk in de Kosovo-oorlog. Een aantal politieke affaires zorgde nog voor de verkiezingen van 2002 voor zijn aftreden. In een tijdschrift was te zien hoe hij met zijn vriendin aan het zwembad lag, terwijl Duitse soldaten op weg waren naar Macedonië.