если все на Вашей территории,то что Вы переживаете,он бы все равно к чему-нибудь придрался бы раз он такой неадекватный,ему бы цвет забора не понравился и т.д.Может для собственного успокоения нужно было бы письменное разрешение на установку забора у него взять,но "везде не подстелишь"