Каждый несет ответственность за свои поступки и ни кто не обязан отвечать за поступки другого. Вы совершенно свободная женщина и вправе встречаться с мужчинами. Если мужчина завел связь на стороне, то только он отвечает за этот поступок, а на Вашем месте могла оказаться  и Даша, и Маша, и Юля. Как по мне так это даже хорошо, что он "нарвался" на Вас, так как у Вас нет желания разрушать его семью.