Нет, это не только ваше дело, это ваше с мужем дело, и он имеет право тоже взять дочку. Если ваша едет только потому, что  у вас нет родственников, способных присмотреть за ребенком, то это одно дело, если вы берете ее развлекаться, а дочку мужа нет- другое.