Повторюсь,  у вашего сына будет либр такой отец, либо вообще никакого. ИМХО: такой лучше,  кроме того, он уже живёт отдельно и не мозолит вам глаза.  То, что вы описываете - обычное поведение среднестатистического не очень радивого разведенного папаши, а не какие-то вселенские грехи.