起的「靠左团」（Keep Left Group），主张英国在外交政策上应该走既不靠美国、也不靠苏联的「第三路线」。1950年2月，工党虽然在大选中险胜，但内阁却就英国响应美国号召参与韩战陷入分歧。1951年4月，韦尔逊跟随党内左翼领袖、时任卫生大臣安奈林·贝文从内阁辞职，抗议内阁决定对国民保健署开出的药物实施收费，以填补韩战的军费。卡素尔在事件中也辞去政务私人秘书一职，以示与两人站在同一阵线，数月以后，工党政府也因为在同年10月的大选中失利而垮台。退出政府后，卡素尔成为了贝文派（Bevanite）的其中一