Вам действительно необходимо обоим к психологу, и даже мужу больше, ведь вы, по сути, простить готовы. Попробуйте не мусолить с ним снова эту тему, а именно о возможности обращения вместе к специалисту поговорить. Пусть это и выглядит сейчас как чисто ваша проблема, которая вам жить не даёт.