I 1993 ble han formann for CDUs borgerskapsfraksjon i Hamburg, og i 1997 var han toppkandidat ved delstatsvalget. Ved valget i 2001 tapte CDU mange stemmer, og fikk bare 26,2 %, mens SPD med 36,5 % forble største parti. Men CDU dannet overraskende en koalisjonsregjering med Partei Rechtsstaatlicher Offensive (19,4 %) og FDP (5,1 %), og Ole von Beust ble valgt til delstatens nye regjeringssjef den 31. oktober samme år.