настораживает    с одной стороны.  А с другой... если вы точно знаете,  что у  него нет второй семьи...  У меня подруга так живет в гостевом браке вот уже  лет 20 .  От первого брака у нее 3 сына,  овдовела и  встретила   новую любовь. Отдыхают, они, правда, вместе.   Вот это мне в вашей ситуации непонятно, почему он на отдых не хочет вместе поехать? И где он отдыхает?  в гордом одиночестве?