Etter Abitur forpliktet Scharping seg til toårig verneplikt, men ble dimittert etter bare et halvt år på grunn av dårlig syn. Deretter studerte han statsvitenskap, sosiologi og jus ved Rheinische Friedrich-Wilhelms-Universität i Bonn og avla 1974 sin magistereksamen i statsvitenskap.