务大臣一职虽无实权，却名义上是一众国务大臣之首，因此当时外界盛传韦尔逊着手培植卡素尔当他的接班人，日后更有可能成为英国历史上首位女首相。可是，卡素尔处于政治生涯顶峰的时间并不长久，也未能够更上层楼。她很快就因为在1969年发表《免于冲突》白皮书而遭到工会和不少工党支持者的批评和离弃，她更因此与党内代表工会派系的另一阁员詹姆斯·卡拉汉公开决裂。她其后与工会妥协和撤回白皮书的行动，被视为她政治生涯上的一大挫败。不过，后来也有评论指出，卡素尔在白皮书中提出限制工会权力的建议，启发了后来保守党首相戴卓尔夫人在