Вы правы. Не надо с ним продолжать отношения. Этому мужчине удобно с вами, никакой любви уже нет к вам, просто удобство... кормушка.... Вы сейчас хотите его отлучить от тех удобств, к которым он привык и он отчаянно сопротивляется, ведь рушится его привычный и такое удобный для него мирок.  Вы настолько сделали его жизнь комфортной, что у него хватало сил, времени и денег на посторонние отношения. О чем это говорит? Он вас тупо использовал.Выгнали и правильно сделали. Пусть теперь сам покрутится, а вы встретите мужчину, обязательно встретите, для которого вы будете любимой женщиной, а не удобным партнером.