"In Place of Strife"）白皮书流产，而两人的纷争更被称为「唐宁街战役」（"The Battle of Downing Street"）。与此同时，工党内一些反对威尔逊的人士亦开始动摇威尔逊的管治，并寄望以卡拉汉取而代之。卡拉汉则负责与北爱尔兰的阿尔斯特统一党政府谈判，促使英军撤出北爱尔兰。威尔逊在1970年大选中，出乎意料地被保守党的爱德华·希思击败下台。但卡拉汉未有趁机挑战威尔逊的党魁地位，从而进一步取得威尔逊的信任。在1972年，卡拉汉负责重新制定工党的政策方针，并提倡政府和工会间