Мне сложно Вас понять. Верность подразумевает, как минимум, уважение к чувствам партнера. Если уважения нет, то какая разница, в чем это проявляется? Если же с Вашей стороны есть и уважение и любовь, Вы уже не осел, несмотря на то, насколько по-животному поступают другие люди.То, что Вам тяжело, понятно и объяснимо, как и любое столкновение с "инородной" культурой. Но знание подробностей жизнь Вашу не облегчит, а только обесценит все хорошее, что было "до" и, вполне возможно, может быть в будущем.  Выход у Вас, имхо, один. Без всяких намеков и выяснений отношений сообщить жене, что подобные встречи для Вас  - недопустимы. Ни под каким предлогом. Ну разве что бывший будет под дверью истекать кровью.