Если не "договоритесь" сами с собой, а будете терпеть, дело закончится психосоматикой.  Но, похоже, договориться вам сложно. Есть категория жен, для которых гульба мужа на стороне -облегчение. Но  им хватает внимания мужа в другом. А вам не хватает, видимо.