А почему Вы должны отдавать каждому  половину стоимости забора, если по сути граничите одной стороной с одним соседом и одной стороной с другим? Если участки квадратные, тогда одна четвертая соседского забора прилегает к вашему участку, если прямоугольные, то больше, но никак не половина? Это первое. А второе - а что не миллион попросили соседи? Нет документа - нет денег. Это очевидно. Ну и не знаю, конечно,какие у вас знакомые, что говорят о компенсации, то моё мнение - такой разговор мог бы быть, если бы забор одинаково нормально выглядел с обеих сторон и Вы бы предполагали им пользоваться. Я предлагаю Вам напечатать смету на какой-нибудь "золотой или каменный" забор и прийти к соседям с требованием разделить расходы, великодушно предложив и разделить траты на снос их кусков забора, поскольку они не смогли угадать ваши пожелания.