Etter folkeavstemningen i 1972 om medlemskap i EU (det daværende EF), overrasket Krag alle dagen etter ved å gå av som statsmininster. Han fortsatte en tid som vanlig folketingsmedlem, og underviste i politisk økonomi på Aarhus Universitet. I 1974 ble han utnevnt til EU-ambassadør i USA.