А вы пробовали с ним по душам поговорить? Вот просто, чтобы он вам выложил все, что он чувствует, а вы бы его обняли и нашли какие-то слова, ну например, что он все равно самый лучший и вы его очень любите? Тут вот еще какое дело, он может думать где-то на уровне подсознания, что он ничтожество и недостоин вас и детей, потому злится/отталкивает, приближает неотвратимый разрыв - ведь когда вы и дети наконец поймете какое он ничтожество, вы сразу от него отвернетесь - все это на уровне подсознания естественно, он врядли отдает себе в этом отчет. По-хорошему, ему бы к психологу приличному, потравить чуток тараканов в голове.