так выходит вы его вообще никогда не любили. Он обуза для вас. Вы для начала  чувства назовите своим именем. А потом, может, поймете, что вы не его не любите, а себя в нем. Вы считаете себя хреновой матерью с ним, вот и беситесь. Как правило, в таких раскладах потом часто бывает, что старший - нелюбимый - опора, а млааадшенький - вылизанный - гамно.