У вас с мужем то, что называется "смотрят в разные стороны". Дальше будет только хуже, вас будут связывать только места общего пользования и кровать. Мужу пофиг, а Вы с ума будете сходить потихоньку. Вам надо принять для себя, что вопрос назрело и решать его надо кардинально. "Резать к чертовой матери". Единственным удерживающим фактором может стать жилплощадь, если она общая.