Вы слишком много внимания уделяете его измене. А вам наоборот надо показать ему, что вам пофиг, что с вами он может общаться не напрягаясь, зная, что вы не будете затрагивать больную для него тему. Вы наверно на него с мольбой смотрите. А вы наоборот, с радостью и одобрением. Если вам нужен именно папа, а не "папа, вернувшийся к маме".