Без палки вы ходите, вот и вся ваша беда. Хоть раз бы за ней потянулись, или за каменюкой.С сыном, как пишут - было? Про не буду с  сыном общаться, если...? Это не папа, уж извините, это нечто дефектное. Вы попытались найти компромис, закрываете глаза и смягчаете для себя что-то "ради детей, ради сына". Но поверьте, оно всё равно всё гепнется. Всё ваше равновесие. Лучше ребенку такого "папу" не встраивать, легендами и подкупом этого папы.