Конечно, не приглашайте их, если Вам это неудобно, так и скажите: нам неудобно, встретиться можем только в кафе. А муж настаивает на встрече именно дома? Если это друзья, пусть они не доставляют вам неприятностей, а если будут настаивать, спросите их " вы друзья или приятели?"  Если друзья - предложите им не ставить вас в неудобное положение и долго не оправдывайтесь, это ваше право - не приглашать никого. Если скажут "приятели" скажите грубее, что никого не приглашаете и тема закрыта. Наглость так напрашиваться.