Вы не можете запрещать, это никак не связано с обидой. Можно сказать ему, что мол а вот может меня возьмешь, мне было бы приятно в компании тоже посидеть. И если скажет что "нет, знаешь - нам хотелось бы вдвоем о своем мужском поболтать"  то и фиг с ним, тут не на что обижаться. Просто хорошо бы чтобы почаще с вами ходил.А вот запрещать и скандалить точно нельзя. Это очень некрасиво.