Я считаю что какой бы некрасивой ни была эта ситуация, тяготить она должна только самого женатого мужчину. Повторюсь, вы не приглашаете его в свой круг, не предлагаете ему свою дружбу, не делаете вхожим в ваш дом. Вы всего лишь поздороваетесь как с любым, малознакомым вам человеком. Не ваша задача его судить, но не обязаны и принимать.