Я бы тоже раздражалась на вашем месте, потому что по факту это чужой  ребёнок, и он не идеален. Если не хотите разводиться, но хотите, чтобы стало легче морально, попробуйте просто смириться с тем, что он такой, примите это. Наряду с недостатками, должны же быть у него и хорошие стороны? Плюс не забывайте, что это его родной отец живёт теперь с вашим сыном, мальчик ревнует, ему обидно, что папа не с ним, и на вас он злится. И это нормально для ребёнка, вам нужно это просто принять.