Тогда не обращайте внимание, только его задолбаете. Если человеку нужно общество, значит нужно. И мудрая жена будет с пониманием к этому относится. Раз он вас не ограничивает, тогда все в порядке. Ему же тоже удовольствия получать надо. Вы домосед и вам хорошо, а ему скучно. Ничего страшного.