Оставьте его, как временный вариант, в том формате, который есть. И ищите новые отношения. Учиться у мужчин надо, они не страдают угрызениями совести в подобных ситуациях! Найдете для души человека - хорошо, нет - останутся эти отношения. Как он к Вам относится, так и Вы к нему, любовники и все, по мне так это отличный вариант.