Han ble spurt om å være formann for organisasjonen Ja til EF i forkant av folkeavstemningen om norsk EF-medlemskap i 1972, men sa nei til vervet. I stedet ble Reidar Carlsen, som var fiskeriminister under Gerhardsen, leder i organisasjonen. Gerhardsen var EF-tilhenger, men skapte likevel betydelig irritasjon blant de ledende på Ja-siden. Først og fremst vakte utspillet hans på det ekstraordinære landsmøtet i Arbeiderpartiet i april 1972 oppsikt. Etter at det var klart at det ville bli et klart flertall for EF-medlemskap under avstemningen, tok Einar Gerhardsen ordet og sa at dersom Arbeiderpartiet ikke hadde noen EF-motstandere i partiet, burde man ha skaffet seg noen, som et symbol på at både tilhengere og motstandere av EF var velkomne i Arbeiderpartiet. Bakgrunnen var at han fryktet at dersom EF-motstanderne ble presset til full lojalitet til ja-standpunktet, ville det føre til en ny partisplittelse. Gerhardsens posisjon i partiet førte til at nei-siden i partiet, organisert gjennom AIK, følte seg legitimert. Samtidig har det fra ja-tilhengere vært antydet at Gerhardsens tale bidro til at det ble nei-flertall under folkeavstemningen i september samme år.