Вы правы. Стойте на своем: я свободная женщина, у меня есть своя жизнь, я имею право на все, что захочу, хочешь быть иногда со мной - подстраивайся под мою жизнь, не хочешь - скатертью дорога,  я себя забывать ради любовника (НЕ МУЖА) не собираюсь. В мягкой, женской форме, конечно же.