曾经与卡素尔闹不和的詹姆斯·卡拉汉接任，形势随即出现变化。卡拉汉接任首相后，以希望内阁有一些「新血」为理由，把卡素尔逐出内阁，撤去社会服务大臣的职务。卡拉汉当时还要求她自行写辞职信以减轻对政府的冲击，但结果是卡素尔感到相当愤怒，断然拒绝。当她辞职走出唐宁街首相府的时候更当众落泪，引起党内外舆论热议。值得留意的是，卡拉汉曾经公开批评《免于冲突》白皮书的建议，但他自己最终却于1978年底至1979年初的不满的冬天期间，被变得好勇斗狠的工会声讨，结果被下议院投票通过不信任动议，继而在同年的大选中败于保守党的戴