Муж вам уже сказал всё, что хотел - что ничего на стороне нет, любит вас, семьёй дорожит. Хотите с ним остаться - удовлетворитесь ответом. У вас и так есть о чём подумать, сами сказали, что теплота в отношениях уходит, секс редок, вот и сосредоточтесь на этом. Вполне возможно, что и роман мужа закончится, если он был, конечно, а не вы его сами себе придумали.