Если вам настолько важно, чтобы вас не беспокоили, то единственный способ обозначить свою позицию - прямо сказать, что никаких гостей ни в доме ни по соседству.Но вы же не возражали?  Если к общему знаменателю прийти не можете, то отдыхать отдельно и от мужа и от его компании. Что вы огород городите?