Пересадить,чтобы от забора было 4 метра(вроде по снипам так для деревьев) и слать соседей лесом,вы ничего не нарушили)А пока  у вас  не по нормам,то от соседей можно ждать чего угодно и согласитесь,потом его пересаживать будет все сложнее и сложнее.