Скорей всего он просто брезглив (не подберу никак другого определения). Далеко не каждый мужчина может спокойно относиться к тому, что он делит женщину с другим мужчиной. Я хоть и женщина, но мне это понятно, я тоже не смогла сблизиться с мужчиной, который очень нравился, когда узнала, что он женат. Наверное, есть такие люди, которые четко отделяют просто секс от всего другого, большинство испытывают к партнеру целый комплекс чувств и  желают полной близости с человеком, к которому накрыло, и третий тут (муж или жена партнера) явно лишний, потому что пока этот третий между партнерами есть, всегда будешь играть вторую скрипку в жизни близкого человека, ревновать, надеяться, отчаиваться. Такие качели. Не каждому по силам. Поэтому для многих лучше и не начинать, ничего кроме мучений отношения не принесут.