Als die Labour Party unter Harold Wilson bei der Parlamentswahl 1970 überraschend verlor, bot man Callaghan den Parteivorsitz an, doch dieser lehnte ab. Am 28. Februar 1974 gewann Labour wieder die Wahlen und Harold Wilson wurde ein zweites Mal Premierminister. Callaghan wurde zum Außenminister ernannt und war hauptsächlich damit beschäftigt, die Bedingungen für die Mitgliedschaft Großbritanniens in der Europäischen Gemeinschaft (der späteren Europäischen Union) nachzuverhandeln. Diese Bedingungen und damit der Verbleib Großbritanniens in der EG wurden dann am 5. Juni 1975 in der ersten landesweiten Volksabstimmung in der Geschichte des Landes angenommen.