Den 5. januar 2004 tiltrådte han som NATOs generalsekretær. Denne perioden ble avsluttet 1. august 2009. I hans tid som generalsekretær ble ni nye land NATO-medlemmer, syv i 2004 og to i 2009.