Его и ваши дети, родители, бывшие супруги  и т.д. здесь ни при чем. Решайте вопрос для себя, раз сомневаетесь. И с ним. Больше НИКТО туда лезть не должен."Сыночка" из примера стоило бы осечь после первой же фразы.Вам не 17 лет, чтобы тушеваться. Получилось так, как получилось. Живите дальше.