À la suite du renversement du bourgmestre-gouverneur de Berlin, Eberhard Diepgen, chrétien-démocrate, en 2001, sa candidature est proposée comme chef de file de la CDU berlinoise, mais est rejetée au profit de celle de Frank Steffel. Il est réélu député fédéral aux élections de 2002, et devient vice-président du groupe, chargé de la politique étrangère, de sécurité et européenne. L'année suivante, à l'inverse de nombreux politiciens allemands, il soutient l'intervention militaire américaine en Irak.