Ну и не надо, если Вы не хотите, просто мужу обьясните, чтобы он понимал Вас.  Вы имеете полное право и без сантиментов. И не думайте о посторонних, у Вас же своя семья есть и , надеюсь, живете дружно, вот и не парьте себе голову, не общайтесь и все.