отпустить. не портить его отношения с детьми, а наоборот - помочь, тогда поддержка Вам его обеспечена. займитесь собой, давно пора. до остальных - дела нет, до сплетен тоже, у всех свои горести и заботы, поверьте, поговорят и забудут.