Fra 1958 til 1967 var han Europakommisjonens første president. I 1959 offentliggjorde han blant annet Hallsteinplanen. Planen gikk ut på å styrke de overnasjonale strukturer for å forsere den europeiske integrasjon og gjennomføringen av et felles europeisk marked. Han var en ivrig føderalist og motstander av Charles de Gaulles tanker om et «fedrelandenes Europa». Dette førte imidlertid til at han måtte gå av som kommisjonens president.