Это данность. Вполне обьяснимая. Ваше дело - принимать это или нет. Не характеризует мужчину ни хорошо, ни плохо. Если для Вас встречи с друзьями в его отсутствие редки и непринципиальны, то вряд ли стоит серьёзно заморачиваться.