Обычно существуют два варианта ответа: "Да, без проблем, приходите все семьей!" (не дав собеседнику дожевать свои причины), или "Эм...омммм....хммм...", что = "Извините, не хотелось бы". Без объяснения причин. Первый ответ принимается с благодарностью, второй - без обид.