Должны/ не должны - нет такого понятия. Но если вас уже игнорируют, как Женщину, пора бы сделать выводы из ваших « везде вместе».  Даже многие женщины сами тут описались, что с уса бы сошли столько рядом с мужем времени проводить. Люди  отдыхать друг от друга обычно хотят, и это нормально,