Даже не рассматривая возможность измены вашего мужа с этой дамой, я вижу здесь 2 веские причины для переезда. Первая - неприятное  общение, которого трудно будет избежать без разрыва мужа с компаньоном. Соседей можно послать. С компаньоном можно не общаться под различными предлогами - некогда, далеко и т.д. Но когда компаньон - сосед, общения избежать очень сложно. Поставить  на место даму можно. но это не поможет избежать неприятного общества. Вторая причина - при любом раскладе подобное соседство может осложнить отношения мужа с компаньоном и плохо сказаться на деле. Жена может обозлиться на мужа автора, "отвергающего ухаживания" и начать капать компаньону на мозги. Может даже подставу организовать - с нее станется. Компаньон сам сам, наблюдая, как жена пытается подложиться под  мужа автора, будет таить негатив против него.