Ну и что? Как можно не отпустить взрослого человека? Можно высказать мнение, можно высказать опасение, даже недовольство. Но не отпустить вы не можете, он же все равно поедет. Только при этом будет злиться на вас же, то есть стремиться улучшить себе настроение и отвлечься и думать какие вокруг хорошие и симпатичные женщины, а у него вот такая жена.