Так и передайте сыну слова папаши про то, что хочет, чтоб у Вас с ним были плохие отношения. И про причину развода расскажите, что унизил Вас наличием любовницы. Объясните сыну, что когда дорожат своей семьей и детьми налево не ходят и приезжают именно тогда, когда обещают. Не маленький уже, пусть знает правду жизни)Предложите ему пожить несколько недель у отца.