竞逐党魁失败后，她也未有获邀重返影子内阁。翌年，卡素尔试图从党内另一右翼人物乔治·布朗（George Brown）手上抢夺副党魁席位，但布朗在选举中以169票击败得票只有56票的卡素尔，成功保住副党魁席位。此后，卡素尔陷入其政治生涯的一个低潮，争取为公营女厕废除入闸机，成为了她在下院最关注的议题之一。无独有偶，早年她也曾经成功争取在下院议事厅旁边加设女厕。
加入内阁.1963年1月，晓治·盖茨克病逝，由哈罗德·韦尔逊接任党魁，一时间为卡素尔的政途带来转机。韦尔逊接任党魁后，于196