虽然感情要好，但两人未能成功生儿育女，以及芭芭拉全身投入政坛，均成为两人婚姻的瑕疵。再加上芭芭拉的政途远较丈夫成功，也使她的丈夫曾感到挫败和气馁，甚至一度酗酒。1974年，与芭芭拉关系友好的工党首相哈罗德·韦尔逊在辞任首相时，决定向英廷推荐册封卡素尔为终身贵族，是为卡素尔男爵。尽管芭芭拉也因此获得卡素尔勋爵夫人（Lady Castle）的头衔，但走左翼路线的她从未使用该头衔，即使到后来自己也获封终身贵族，她仍坚持称唿自己作「卡素尔夫人」（Mrs Castle）而非「卡素尔女男爵」（Baroness Cast