Мне кажется вам с мужем надо этот вопрос решать. Так и так, раньше ЕГО гости вм не мещали, а теперь мешают. Пусть или переносит встречи в другое место или серьёзно разговаривает с другом. Вам надо именно о мужа донести, что вас напрягает присутствие чужих детей в пятницу вечером.