Ключевое - "злости не испытываю". Эмоций у вас нет? Ожиданий от отца детей нет? Разочарований нет? Дети воспринимают  все как норму, проблемы нет. Когда дети  подрастут до школьного  возраста примерно, то  можно  с ними  проговорить, что  такое родительские права и обязанности: папа должен  общение, материальную  поддержку, помощь. Папа это  делает? Все в порядке. Папа этого не делает и дети испытывают  по этому поводу эмоции (это важно!) - тогда объясняем  детям, что папа - это  живой человек,  хотелось  бы так и так, но  имеем  то и то,  принимаем  папу с его пассивностью, недостающее добираем  другими способами.