Сказать допустим так можно как бы в шутку. Но выгонять друга мужа потому, что он приходит с женщиной, как-то диковато.Друг, если не дурной, поймет, что жена не одобряет. А уж примет ли он это к сведению, какие у него там обстоятельства, трудно сказать. Возможно, в дом он ходить перестанет. Будут встречаться с мужем где-нибудь в другом месте, на нейтральной территории.