Оправдываться и поводы искать, чтоб отказать - глупо и длействительно будет выглядеть некрасиво. Почему ж не сказать прямо, что нам неудобно отдыхать таким составом, извиниться и разговор закрыть? Вот чего ради? Ради хорошего самочувствия других людей? А оно всё равно не будет хорошим, фальшь очень чувствуется.