Мне кажется что Ваш муж до сих пор не может переварить что его бросила любимая женщина. Поэтому и бесится, отсюда и его неадекват в общении с ребенком. И помани его пальчиком  БЖ - бежал бы к ней сверкая пятками. Он ее еще любит, поэтому и бесится.