En enero de 1694 Mary abandonó a su marido y marchó a vivir con Barbara Villiers, primera Duquesa de Cleveland, llamada "lady Castlemaine", en su tiempo amante del rey Carlos II.