Он хотел, чтобы вы такими действиями как бы "уравняли" себя с ним. Начни вы разборки с любовницей, он сразу бы использовал это против вас. А так, отказавшись от выяснения отношений с чужой женщиной, вы не дали ему индульгенцию на его измену, и он остался со своей виной один на один.  Именно поэтому он и захотел к вам вернуться. Мужчины хорошо понимают, что такими женщинами не бросаются. Вы своими действиями (точнее их отсутствием) взрастили его чувство вины. Правда вам самой от этого уже не было никакого толку Плохо, что этого не понимают многие из тех женщин, которые хотели бы сохранить семью