Значит, у вас самой не должно быть никакого даже подсознательного чувства вины. И вы вправе устанавливать свои правила, помните ведь, нет ничего более постоянного, чем временное. Если ваш муж так и привыкнет уходить на выходные, то ничем это хорошим не закончится.  Предлагайте, придумывайте каждые старые выходные, когда ваших детей нет дома, что то чтобы муж с вами оставался хотя бы на субботу. Вы же даже вдвоём не бываете, мотивируйте его этим.