复在野党身份后，卡素尔在韦尔逊的安排下成为影子就业大臣，当保守党政府制订《工业关系法令》的时候，她曾经加以批评，但每次都被保守党讥讽为《免于冲突》白皮书的始作俑者，使到工党处境尴尬。未几，她在1971年被改调任影子卫生及社会保障大臣，复于1972年离开影子内阁。1974年3月，工党在韦尔逊带领下胜出大选，第二度筹组内阁，与韦尔逊交情不浅的卡素尔遂获邀出任社会服务大臣。她在任内推出不少社会福利改革，较重要的包括规定各类退休金须与平均收入挂钩；另外又引入照料残疾人士津贴（Invalid Care Allow