I perioden 1957–1961 var han NATOs generalsekretær. Som generalsekretær var Spaak i stadig konflikt med den fransk president Charles de Gaulle. Han kritiserte de Gaulle for å blokkere NATOs fremgang og å utviklingen av det transatlantiske samarbeidet. De Gaulle var kompromissløs i saker knyttet til nasjonal suverenitet, hadde ingen tillit til USA og betraktet Storbritannia for å være amerikanernes nikkedukke. De Gaulle torpederte Spaaks drøm om Det europeiske forsvarsfellesskapet og i tillegg insisterte han på å fortsette utbyggingen av den franske kjernefysiske våpenarsenal. Selv om Spaak brukte enhver diplomatisk metode han hadde til rådighet, fant han lite gehør hos de viktigste aktørene i NATO. Når Frankrike, under de Gaulle, i 1962 forsøkte å blokkere både britenes medlemskap i EØS og undergrave EØSs overnasjonale grunnlag med Fouchet-planen, kjempet Spaak sammen med nederlandske Joseph Luns mot. Da Frankrike trakk seg tilbake fra en aktiv rolle i NATO i 1966, var han en av pådriverne for å få Brussel valgt til nytt hovedkvarteret (også kjent som SHAPE).