Han var deretter formann for foreningen av tyske sparebanker, , frem til 1998, da han ble president for Den europeiske bank for gjenoppbygning og utvikling med sete i London. I 2000 ble han utnevnt til direktør for Det internasjonale pengefondet, og formann for dets utøvende komité, og flyttet til Washington. Han ble foreslått av den rødgrønne regjeringen Schröder etter at deres opprinnelige kandidat Caio Koch-Weser ble avvist av USA. Han beholdt disse vervene til han trakk seg 4. mars 2004, etter at han var blitt nominert som de konservatives og FDPs kandidat til det tyske presidentvervet.