А почему не берет ребенка к себе, или не водит куда-нибудь развлечся? Как он сам это объясняет? Скажите чтоб забрал к себе, и что вам тоже надо заняться собой, уехать по делам, или у вас будут гости, ну что нибудь в этом роде. Нужно же разговаривать, высказывать свои желания, тогда и проблем не будет. Зачем вам суд, это же не проблема,  просто нерешенный вами вопрос.