Вам стоит написать об этом в орган опеки и попечительства. Также при желании можете подать ПРОИГРЫШНЫЙ пока иск о лишении прав. Но такой иск может заставить его задуматься об изменении ситуации. Тем более, если суд в решении укажет, что имело место уклонение от участия в воспитании