le of Downing Street"）。与此同时，工党内一些反对威尔逊的人士亦开始动摇威尔逊的管治，并寄望以卡拉汉取而代之。卡拉汉则负责与北爱尔兰的阿尔斯特统一党政府谈判，促使英军撤出北爱尔兰。威尔逊在1970年大选中，出乎意料地被保守党的爱德华·希思击败下台。但卡拉汉未有趁机挑战威尔逊的党魁地位，从而进一步取得威尔逊的信任。在1972年，卡拉汉负责重新制定工党的政策方针，并提倡政府和工会间要有「社交契约」（Social Contract），此外，卡拉汉又带头挠过威尔逊，反对希思政府将英国成为欧洲