То вы пишете, что "отца любят", то "скорее равнодушно"... Вы уж определитесь. Если детям будет с отцом плохо,  они откажутся с ним встречаться. Если не отказываются, значит, им с отцом вовсе не так плохо, как вы пытаетесь это изобразить.