так вы определитесь -считаете его своим мужем или так временный сожитель, чтоб в холодную постель не ложиться. Если первый вариант, то конечно надо было оговаривать гостей и если кто-то для него неприемлем, неприятен, то не приглашать, а если второй вариант, то решать самой без оглядки на него, что вы и сделали. Так от чего печалитесь и страдаете?