Проблема не в детях, а в ваших с ним отношениях. Может быть, по сравнению с вами он слабый мужчина, но по сравнению со средними российскими мужчинами он достаточно сильный и по сравнению с собой молодым достиг очень многого. Вас по отношению к нему шатает от злости к жалости (жалость не позитивное чувство). К психологу нужно вам прежде всего, потому что всю свою агрессию он хочет направлять на вас. Лучше идти к опытному психологу психоаналитического направления.  Но это не быстрая работа,  годы могут уйти на нормализацию отношений.