Был бы повод волноваться, если бы он ВСЕ свое свободное время стремился провести в другой компании (за другими занятиями), но не с Вами. Вы проанализируйте почему так реагируете на его хобби, только ли из-за БМ, который тут собственно вовсе ни при чем? Может быть ваши отношения никак не развиваются и вас это беспокоит? Может еще какие-то причины имеются? В самом по себе хобби и раздельном (время от времени) времяпрепровождении нет никакого криминала. Вы же не сиамские близнецы.