Поговорить с ним откровенно без прикрас. Назвать вещи своими именами. Дать ему понять однозначно, что Вы не дура и видите ситуацию так то и так то и что терпеть этого не можете, не хотите и не обязаны. Напомните ему о том, что он женат, что Вы живой человек и ты пы. Другого выхода не вижу. На самотек все это можно было пустить, если б Вас это не задевало и Вам было б пофиг. Но это ведь не так.