возможно, вам стоит поговорить с ним - спокойно, без истерик и обвинений. Сказать, что вы знаете, что у него роман, и что возможно вам стоит расстаться, если он смотрит в другую сторону и там сильные чувства. Посмотрите, как он отреагирует. Если скажет - да, я давно это хочу но не решался тебе сказать - ну что ж, ничего не поделаешь. Но он вполне может сказать, что нет, ничего серьезного, хочет сохранить семью.