Вы можете не говорить вслух, но "язык тела" не скроешь. Позы, жесты, взгляды, все это считывается интуитивно. Вы сдерживаетесь  и давите в себе, и делаете вид. Наверное, это заметно. Вы подозреваете,  что  у него  есть другая женщина... что ж,  вполне возможно. Многое говорит за этот вариант. Вопрос в том, хотите ли Вы знать правду? Если да,  у него женщина, что будете делать? Расстанетесь? Или будете "возвращать в семью"?