2002年、ドイツ連邦軍が内戦寸前のマケドニア共和国での平和維持活動参加を直前に控えている時に、シャーピングが恋人（のち夫人）とマヨルカ島で休暇を楽しんでいる姿がカメラマンに撮られてゴシップ誌に掲載されてしまった。さらにロビイストからの献金と癒着疑惑が追い打ちをかけ、国防相としてのシャーピングの権威は失墜した。2002年の連邦議会選挙を目前に控えて苦戦が予想されていたシュレーダーは、7月18日にシャーピングを更迭した。2003年にはSPD副党首を退任。その次の2005年9月の連邦議会選挙にシャーピングは出馬せず、政界を離れた。