Уходите на это время. Либо уходите сама и оставляйте ему своего ребенка, пусть общается с двоими. Не боритесь за его внимание, воспринимайте время его общения с дочерью как время для себя. Если он обидит вашего ребенка или не уследит за ним - это повод для разборки. Но нужно заранее ему об этом сказать.