Посмотрите кадастровую карту публичную, там будут видны границы вашего участка, которые закреплены в Росреестре сейчас. Возможно они не совпадают с вашим забором и границами, которые вы считаете своими. Т. Е. Принимая эти изменения, вы просто согласитесь  с тем, чтобы забор и границы совпадут. У нас так было во всём посёлке. Кадастровый инженер был, межевание было, а в Росреестр точки не те попали, всё участки сдвинуты были метра на 2-4. Привели в соответствие. Кто отказался подписать, через суд обязали, но у нас именно ошибка была в Росреестре. У вас возможно все не так. Посмотрите кадастровую карту.