卡拉汉亦因此辞职。卡拉汉辞职后没有退出内阁，反而得到了挽留，并与罗伊·詹金斯对调职位，自1967年至1970年出掌内政大臣。任内，卡拉汉谘询北爱尔兰政府后，决定将英军撤出北爱尔兰。卡拉汉在1974年3月重返政府，出任外务大臣一职，负责重新就是否加入共同市场展开谈判，并在1975年的全民投票中，表态支持英国留在欧洲经济共同体。当哈罗德·威尔逊在1976年辞任首相后，卡拉汉得以继任首相和党魁。但是在任内，由于工党于下议院只佔小数，而被迫与一些细小的党派，如阿尔斯特统一党合作，而日后备受批评的「自由党-工党协