На мой взгляд - вашему мужчине не хватает решимости, определенности и здравомыслия(в хорошем смысле, я не хочу никого обидеть). Такая ситуация к сожалению распространена ,когда мужчина живет на два дома и никак не может определиться. И более того, не может озвучить свое решение одной из сторон - ну духа не хватает. И тут уж решать вам - оставаться далее с ним или нет.