Barbara Villiers, Công tước thứ 1 xứ Cleveland
Thất thế và cuộc sống sau này

Charles II sau này có những tình nhân khác, trong đó đáng chú ý nhất là nữ diễn viên Nell Gwyn. Barbara cũng không kém cạnh, Nữ Công tước đã có nhiều mối quan hệ tình ái khác, trong đó có vận động viên nhào lộn Jacob Hall, William Wecherley, Henry Jermyn, Nam tước Dover thứ 1 và người anh em họ là John Churchill. Những người tình của Barbara được hưởng lợi về mặt tài chính từ những mối quan hệ này; trong đó John Churchill đã mua một khoản tiền niên kim bằng khoản tiền 5.000 bảng Anh mà Barbara đưa cho. Bản tính lăng nhăng và xa hoa của Barbara đã khiến Nữ Công tước trở thành đối tượng bị châm biến nhằm gián tiếp chế nhạo Charles II và triều đình của Quốc vương, điều này khiến vị trí tình nhân của Nữ Công tước càng trở nên bấp bênh hơn. Do Đạo luật Kiểm tra năm 1673, về cơ bản cấm người Công giáo nắm giữ các chức vụ, Barbara không còn là Phu nhân Hầu phòng, và Charles II loại bỏ Barbara khỏi vị trí tình nhân và Louise de Kérouaille trở thành tình nhân được sủng ái nhất.
Năm 1676, Nữ Công tước tới Paris. Năm 1678, với nỗ lực hủy hoại người tình cũ Ralph Montagu, Barbara trở về Luân Đôn trong một thời gian ngắn. Lo sợ về những gì Barbara có thể nói với Charles II, Ralph Montagu đã đưa một số bức thư tình của Barbara cho Quốc vương nhằm làm suy yếu niềm tin của Charles II dành cho Barbara. Kế hoạch thành công và Charles II đã chối bỏ người tình cũ và nói rằng: "Hỡi nàng, vì chính bản thân, hãy sống cho tương lai và hạn chế tai tiếng hết mức có thể, và ta không quan tâm nàng yêu ai". Ralph Montague còn có mối quan hệ với con gái Anne của Nữ Công tước và tìm gặp Quốc vương Louis XIV của Pháp để tìm cách loại bỏ Barbara. Không chịu thua trước tên tình nhân cũ, Barbara đã viết thư cho Charles II, tiết lộ hết những âm mưu của Ralph Montagu nhằm dắt mũi nhà vua, theo cách khủng khiếp nhất mà Nữ Công tước có thể nghĩ ra. Với dáng vẻ của một người phụ nữ bất lực và một người mẹ đầy phẫn nộ khi ở trong một môi trường xa lạ, Barbara đã thành công thuyết phục Charles II. Khi Ralph Montagu muốn gặp Quốc vương để trình bày sự việc thì đã bị Charles II từ chối và bị cắt hết chức vụ. Ralph Montagu không chấp nhận thất bại này và đã lên một kế hoạch khác nhưng bị thất bại sự can thiệp của Hạ viện.
Năm 1684, Barbara thực hiện một vài chuyến thăm về Luân Đôn. Trong khoảng thời gian này Barbara đã bắt đầu một mối quan hệ tình ái với Cardell Goodman, một diễn viên có tiếng tăm xấu, và vào tháng 3 năm 1686, Barbara dường như đã sinh cho ông một đứa con trai. Barbara cũng được hòa giải với Nhà vua và thậm chí còn được Charles II mời đến triều đình. Trong một lần tham dự buổi diễn tại Durry Lane, với người tình Cardell Goodman thủ vai chính, theo thông lệ thì các diễn viên và khán giả phải chờ đợi cho đến khi cặp đôi vương thất đến. Khi bức màn sân khấu được kéo lên, Cardell Goodman đã cất tiếng hỏi rằng: "Liệu quý bà Công tước của tôi đã đến?". Không thấy Barbara, Goodman đã chửi thề và tuyên bố vở kịch chỉ bắt đầu khi Nữ Công tước xứ Cleveland đến. May mắn thay, sự xuất hiện của Barbara đã giúp mọi người khỏi cảnh xấu hổ. Nữ Công tước dường như đã rất hài lòng với điều này khi thể hiện sự kính trọng công khai đối với Vương hậu Catarina. Ngày 25 tháng 1 năm 1685, trước khi qua đời, Quốc vương Charles II được nhìn thấy đang tận hưởng một buổi tối cùng Barbara và Louise de Kérouaille và Ortensia Mancini.