Так вы боитесь, что если вы не приедете в бассейн, они втроем пойдут в ресторан?  То есть вариант, что муж один забирает дочь и едет с ней к вам домой, не допускается вообще? А вы не хотите один раз так сделать, посмотреть, что получится? Может быть у вас появятся новые аргументы, чтобы поговорить с мужем?