Ничего тут не будет уже. Вы позволили поставить себя в положение женщины, "которая все должна понимать".  Не надо так делать никогда. Скажите ему, дорогой, ты такой прекрасный, но мне вообще другие отношения нужны, мне нужен мой мужчина. Всего хорошего, не звони, приходи только когда освободишься. И все, отрезать его.