I 2009 gikk han av som partiformann og statsminister for å tiltre som generalsekretær i NATO. Han tok en mer synlig rolle og deltok mer aktivt i politikkutformingen enn mange tidligere generalsekretærer. NATO besluttet under den arabiske våren i 2011 å støtte opprørerne i Libya ved å opprette en flyforbudssone og siden gå til luftangrep mot militære mål. Forholdet mellom NATO og Russland kjølnet, og Rasmussen kom til å betrakte Russland som en sikkerhetstrussel. Russlands anneksjon av Krim i februar 2014 satte dette på spissen. Rasmussens mandatperiode ble forlenget og utløp i september 2014. Siden har han drevet rådgivnings- og foredragsvirksomhet.