Tuy nhiên, mối quan hệ của Hortense với Charles II nhanh chóng đổ vỡ do thói trăng hoa và phóng túng của Hortense, ở Anh bà được công khai gọi là "Con điếm ngưới Ý" (Italian Whore). Hortense đã quan hệ đồng tính với Anne Lennard, Bá tước phu nhân Sussex, một người con gái bất hợp pháp giữa Charles II và Barbara Palmer, Bà Công tước Clever. Không dừng lại ở đó, bà còn quan hệ với Louis I de Grimaldi, Vương thân Monaco. Những sự dan díu này khiến Charles II tức giận và quyết định cắt đi tiền trợ cấp của bà. Dù sau đó Charles nguôi ngoai và mở lại quyền trợ cấp, song Hortense đã vĩnh viễn mất đi sự sủng ái tột cùng của nhà vua, và phu nhân Louise de Kerouaille nhanh chóng lấy lại được vị trí vốn có.