Настораживает не измена а отношение к женщинам вообще - жену не любил, любовницу использовал. Или врет (и это лучший вариант) или вы следующая на роль (не любил но использовал). Вы же не думаете что обе его женщины себя выше тряпки не ценили что спали с нелюбящим мужиком? Нет конечно, он им в уши то про любовь лил, и вам льет. Проводите аналогии. Впрочем, любой разведенец с изъяном, может ваш - не худший вариант.