Не мешало, пока было не таким высоким  Оно ж не в первый год так вымахало. Мои березки, посаженные лет 7 назад, еще только метра 4-5 в высоту. За 15 лет конечно вымахают огого какие.  А вот пыльца от березы скорее всего мешала всегда. Но еще, возможно, что-то произошло между автором и соседями, раз они начали цепляться к этой березе именно сейчас. Так бывает.