Не вижу проблем, лишайте прав, но не лишайте общения. У Вас появится возможность не испрашивать разрешения на выезд.Если с отцом договоритесь, он сам на суде возражать не будет, и получите решение, а играть с ребенком - пусть играет. Вам же юридическая независимость нужна прежде всего.