Учитесь возражать людям, которые манипулируют вами под благовидным предлогом и понукают что-то делать.Ваша проблема в том, как реагировать на то, что говорят люди о поведении муже и что люди советуют вам с его поведением делать. А вот с тем, что представляет собой его поведение, да  и в отношениях с ним - у вас в принципе согласие. Поэтому пусть он, и обиженные на него товарищи, сами разбираются со взаимными претензиями. Вас - лично Вас - это не касается, все они взрослые люди и могут сами разобраться.Если вам рассказывают слухи, просто развенчивайте их как пустые сплетни.