Померьте, какую площадь вы присоедините, если вынесете забор вперед. Если она меньше "критичной" для вашего района - можно выносить, если больше - возможно, стоит оформить аренду например. В деревне всем есть до всего дело, даже тем, кого вы никогда не видели и не знаете, как зовут.