По закону не правы. Это так же, когда отцы похищают детей и не дают видеться с матерью. Он отец. А вот если вы считаете, что для детской психики это вредно и ребёнок сам против - идите в суд, опеку, привлекайте психолога, чтобы у вас было официальное обоснование. Самовольно не имеете права решать такие вопросы.