В присутствии жены спросите, почему его так волнует ваша внешность. Настойчиво, пока не ответит. Спокойно, разумеется, с позиции сочувствующего психолога. Мол давай вместе разберемся.Ну и для себя решите, нужно ли вам такое общение в принципе. Можно предоставить мужу одному общаться с этим человеком.