Может Вы его любите? С его стороны в Вашу сторону уже ничего не изменится. Я предлагаю ничего не менять, как найдется любимый и любящий- этот сам отвалится за ненадобностью  а вообще Ваша позиция какая-то заранее ... унизительная, работаете с бывшей, которую он любит, знаете, что любит, но ебетесь и сами приезжаете-вот это все как-то не располагает к Вам уважением...