Недостаток внимания как таковой не ведёт непосредственно к агрессии. К агрессии ведёт выраженное пренебрежение и его внешние проявления, а именно тон, каким Вы разговариваете со старшим. Сравните что и как Вы говорите своим детям... особенно в сравнении с младшим. Вычлените ситуации, которые Вас раздражают и ведут к нервозности. Когда вычлените, поймёте, что их не так много и по сути волнений не стоят.