Проблемы с мужем возникнут. И нет гарантии, что на новом месте не появятся  другие ужасные соседи. Но если быть готовым к возможным проблемам, то можно и переехать, чтоб сменить обстановку. Возможно, в другом доме, другом подъезде, другом дворе соседи не будут казаться такими неприятными. Тогда только проблема с мужем останется. Наверное, если не думать, что с переездом начнётся счастливая безоблачная жизнь, то можно и рискнуть)