Не "муж должен уходить из дома", а "визит гостей стоит приурочить ко времени, когда мужа дома нет". Или муж там корнями врос и из дома принципиально не выходит? Есть же у него какие-то планы вне дома. Можно договориться к обоюдному удовольствию.