1年到1964年成为反对党的时候，卡拉汉每年都获聘任到影子内阁。自1955年至1960年，卡拉汉又担任警察联盟的国会顾问，负责就增加警务人员薪酬一事展开谈判。在1960年，卡拉汉出选工党副党魁一职，主张反对单方面裁减核武，虽然这点政纲得到右翼的候选人乔治·布朗支持，但由于卡拉汉资历尚浅，副党魁一位最后仍由布朗夺得。在1961年，卡拉汉成为了影子内阁的财政大臣，到了1963年，由于工党党魁晓治·盖茨克（Hugh Gaitskell）因病去世，卡拉汉遂竞逐党魁一职，但结果在选举屈居第三。当工党赢得1964年