Элементарно - не проживает с детьми, не дает денег на их содержание. Договоренности с бабо-дедами и тем более доверенности на представление ими интересов его детей не дал. В этом случае органы опеки инициируют ограничение отца в родительских правах. Если ситуация не меняется - то и лишение.