А от посторонних никто и не требует, что они обращались в этой паре "муж" или "жена". Посторонние обычно обращаются к людям по имени или по имени-отчеству а не по семейному статусу. Вы к каждому мужчине обращаетесь "эй, муж" или "эй, сожитель", что ли? Или к каждой женщине "эй, жена"?