Ну  Вы  сами  все  написали.  С  удовольствием  проводит  выходные  дни  у  мамы,  с  дочерью.  А  с  Вами  даже  вдвоем  никуда  не  хочет.    При  чем  тут  его  дочь?  Не  дочь,  так  в  гараж  бы  от  вас  сбегал,  или  на  рыбалку.  Или  просто   "с  мужиками  пиво  пить".  Вы  ему  надоели,  наверное.