Зачем вам его возвращать? Раз была любовница, значит он ее полюбил, а вас разлюбил. Это даже не закрыть глаза на разовый перепих мужа или на измену по пьянке, когда не ведал что творил. Любовница это всегда чувства, тем более если встречались плотно, он о ней заботился, ушел к ней.