Fra 1973 var han medlem av Europaparlamentet parallelt til Forbundsdagen. Etter det første direkte valget til parlamentet i 1979, ble Klepsch leder for den politiske gruppen. Han var president for Europaparlamentet i perioden fra 1992 til 1994. I 1994 pensjonerte han seg fra Europaparlamentet og ble rådgiver for Deutschen Vermögensberatungs AG.