Ну так а как маленькому сменить привычную атмосферу на вашу так резко, думаете будет комфортно? Думайте и о нем тоже, он же не кукла. Сначала начните у них дома общение, ребенок привыкнет к вам, потом познакомите его со своим домом, а уже потом когда и он привынет к вам и к дому и мама его будет видеть что ребенок хорошо себя с вами чувствует, тогда уже и выходные у вас возможны. А сразу к себе, на все выходные, разлучив ребенка и маму, потому что вы так хотите и вам так удобно и что вы маленьких любите... У вас не любовь, а эгоизм, желание поиграться ребенком, вы не о нем думаете.