未使用该头衔，即使到后来自己也获封终身贵族，她仍坚持称唿自己作「卡素尔夫人」（Mrs Castle）而非「卡素尔女男爵」（Baroness Castle）。卡素尔在1979年离世，对芭芭拉构成很大的打击。由于无儿无女，加上除了偶尔作诗、散步和打理家中园艺以外，也没有特别嗜好，所以芭芭拉·卡素尔在政坛以外的私人生活过得颇为空虚。有空的时候，她把不少时间花到胞姊玛乔丽·麦金托什和她的家人身上，并与她们一家建立起亲密的关系。当玛乔丽在1964年突然过身后，芭芭拉更视玛乔丽的两名女儿和一名儿子为自己的子女看待。