Все это очень странно. Будто девочка не была у мужа еще до вас. Нет никакого вашего личного мужа. Есть мужчина с ребенком. Разумеется он может взять его с собой. Если вас это напрягает можно организовать отдельный номер для романтика и няню. И не «Пусть он и организовывает», а решить совместными усилиями.