Fatti:
A. A._ è proprietario del fondo part. vvv sito a Y._. Nel 1998 questa particella è stata abusivamente invasa in parte da un muro di sostegno eretto sul fondo sovrastante (www) dall'allora proprietaria. Con sentenza 30 marzo 2004 la prima Camera civile del Tribunale d'appello aveva ordinato a quest'ultima di rimuovere le parti del muro che occupavano abusivamente una superficie di 6.47 m2 del sottostante fondo. Il 19 luglio 2006 il nuovo proprietario B._ ha chiesto al perito distrettuale di X._ di rettificare il confine tra le particelle, allo scopo di acquisire la superficie abusivamente occupata dal citato muro: A._ si è opposto alla richiesta.
B. Con decisione 19 gennaio 2007 il perito ha accolto l'istanza, indicando che contro la sua decisione era dato ricorso al Tribunale cantonale amministrativo entro 30 giorni dalla notifica. Accortosi che il termine ricorsuale era soltanto di 15 giorni, il 22 febbraio seguente egli ha emanato una nuova decisione, sostitutiva della precedente, di contenuto identico eccetto che per il termine corretto d'impugnazione.
Mediante istanza 27 febbraio 2007 A._ ha chiesto alla Corte cantonale la restituzione del termine per impugnare la prima decisione peritale. Con ricorsi di stessa data, egli ha chiesto poi l'annullamento di entrambe le decisioni. Il 29 maggio 2008 il Tribunale cantonale amministrativo ha respinto l'istanza di restituzione in intero, dichiarato irricevibile siccome tardivo il ricorso diretto contro la prima decisione peritale e accolto quello presentato contro la seconda, dichiarata nulla.
C. Avverso questa pronunzia A._ presenta un ricorso sussidiario in materia costituzionale al Tribunale federale. Chiede di concedere l'effetto sospensivo al gravame di annullare la decisione impugnata, di conseguenza di accogliere l'istanza di restituzione in intero e di rinviare la causa alla Corte cantonale affinché esamini nel merito i ricorsi 27 febbraio 2007. Dei motivi si dirà nei considerandi.
Diritto:
1. 1.1 Contro una decisione emanata dall'ultima istanza cantonale (art. 86 cpv. 1 lett. d LTF) in ambito pianificatorio è dato il ricorso in materia di diritto pubblico (art. 82 lett. a LTF; DTF 133 II 409 consid. 1.1), per cui il ricorso sussidiario in materia costituzionale (art. 113 LTF) è inammissibile. L'erronea denominazione del rimedio non nuoce tuttavia al ricorrente, visto che le censure sollevate possono essere esaminate nel quadro del rimedio ordinario (DTF 133 II 396 consid. 3.1). La sua legittimazione a impugnare una decisione con la quale i suoi gravami non sono stati esaminati nel merito è pacifica (art. 89 cpv. 1 lett. a LTF; sentenza 2C_504/2008 del 28 gennaio 2009 consid. 3.1 destinata a pubblicazione; DTF 131 II 497 consid. 1).
1.2 Secondo l'art. 42 cpv. 1 e 2 LTF, il gravame dev'essere motivato in modo sufficiente, spiegando nei motivi perché l'atto impugnato viola il diritto (DTF 133 II 396 consid. 3.1, 249 consid. 1.4.1). Per di più, quando il ricorrente invoca, come in concreto, la violazione di diritti costituzionali (arbitrio e buona fede), il Tribunale federale, in applicazione dell'art. 106 cpv. 2 LTF, esamina le censure sollevate soltanto se siano state esplicitamente sollevate e motivate in modo chiaro e preciso (DTF 134 II 244 consid. 2.2): argomentazioni vaghe o meramente appellatorie non sono quindi ammissibili (DTF 134 I 83 consid. 3.2).
2. 2.1 Il Tribunale cantonale amministrativo ha ricordato che la restituzione in intero è data quando il patrocinatore dimostra d'essere stato impedito di agire, perché, senza sua colpa, ignorava la scadenza del termine (art. 137 lett. a CPC/TI, al quale rinvia l'art. 12 cpv. 1 della legge ticinese di procedura per le cause amministrative del 19 aprile 1966, LPamm). Esso ha poi rilevato che, secondo l'art. 26 cpv. 2 LPamm, le decisioni devono essere munite dell'indicazione dei mezzi e del termine di ricorso e che un'indicazione errata degli stessi non può cagionare pregiudizi alle parti. Ha precisato, richiamando la dottrina cantonale e la prassi federale, che la tutela della buona fede è nondimeno esclusa quando l'inesattezza dell'indicazione era conosciuta dall'interessato o comunque facilmente riconoscibile usando la dovuta diligenza (BORGHI/CORTI, Compendio di procedura amministrativa ticinese, 1997, n. 5a ad art. 26; DTF 127 II 198 consid. 2c; sentenza 2C_58/2007 del 24 aprile 2007 consid. 3.2.1).
Ha poi ritenuto che, secondo l'art. 94 della legge ticinese sul raggruppamento e la permuta dei terreni del 23 novembre 1970 (LRPT), contro la decisione del perito è dato ricorso al Tribunale cantonale amministrativo. Poiché detta legge non prevede termini diversi, la Corte cantonale ha considerato applicabile, per insorgere dinanzi a essa, quello generale di 15 giorni previsto dall'art. 46 cpv. 1 LPamm. Ha stabilito inoltre che, in concreto, l'erroneità dell'indicato termine di trenta giorni, doppio rispetto a quello previsto in modo generale dall'art. 46 cpv. 1 LPamm, era facilmente riconoscibile da parte di un avvocato, che avesse fatto uso della normale diligenza, mediante la semplice lettura del testo di legge. L'assunto addotto dalla legale, segnatamente di essere stata indotta in errore dal termine di ricorso di 30 giorni previsto dall'art. 94a LRPT disciplinante la permuta generale, non è stato ritenuto, visto ch'esso si applica soltanto per ricorrere al perito distrettuale contro le decisioni del Consiglio di Stato. Ne ha concluso che l'istante, assistito da un legale, non poteva ignorare che il termine per impugnare la prima decisione peritale scadeva 15 giorni dopo la sua intimazione, per cui ha respinto la domanda di restituzione in intero contro il lasso dei termini.
Il Tribunale amministrativo, rilevato che la prima decisione del perito del 19 gennaio 2007 è stata intimata il 29 gennaio, ha ritenuto che il termine ricorsuale di 15 giorni scadeva il 13 febbraio seguente. Il ricorso, presentato in data 27 febbraio 2007, è stato quindi dichiarato tardivo.
2.2 Il ricorrente fa valere una lesione del divieto dell'arbitrio e della protezione della buona fede (art. 9 Cost.), nonché della garanzia della proprietà (art. 26 Cost.). Egli sostiene che avrebbe potuto fare affidamento sull'indicazione del termine di 30 giorni, al suo dire non inusuale in materia, indicato nella prima decisione peritale, vista l'assenza di motivi atti a indurre il suo legale a verificare, consultando il testo di legge, l'errore, riconosciuto soltanto in un secondo tempo dal perito.
2.3 Ora, anche il fatto che pure il perito se ne è accorto, dimostra che, consultando la legge, l'errore era facilmente individuabile. Per di più, il ricorrente non era confrontato con una procedura sconosciuta, ricordato che si era espresso sulla domanda di rettifica dei confini, partecipando a un sopralluogo. La decisione peritale, fondata sull'art. 93 LRPT, richiamava espressamente l'art. 94 LRPT, che indica il ricorso al Tribunale amministrativo: per un avvocato dovrebbe quindi essere notorio che, in assenza di un altro termine, vale quello generale di 15 giorni.
2.4 Il ricorrente adduce che la rettifica dei confini costituisce una procedura speciale e che l'errata indicazione ha "fuorviato" la sua patrocinatrice a causa del rinvio di cui all'art. 100 LRPT. Questa norma dispone che la rettifica può avvenire durante la misurazione catastale o all'infuori di questa: nel primo caso è applicabile la procedura della legge generale sul registro fondiario, nel secondo - come in concreto - le norme concernenti la permuta e quindi, in particolare, l'art. 94 LRPT. L'assenza di uno specifico termine di impugnazione costituiva quindi un valido motivo per verificarne l'effettiva durata.
2.5 A torto il ricorrente sostiene che sarebbe stato indotto in errore dal testo dell'art. 94a LRPT, ritenuto che l'inapplicabilità di questa norma, disciplinante il ricorso al perito distrettuale contro le decisioni governative adottate nel quadro della permuta generale, era manifesta.
3. 3.1 La Corte cantonale ha poi accertato la nullità della seconda decisione del perito del 22 febbraio 2007, poiché lesiva del principio della "res iudicata", ritenuto che lo stesso l'aveva emanata quando la prima, non impugnata, era già formalmente cresciuta in giudicato da oltre una settimana. Essa ha stabilito che l'erronea indicazione dei rimedi di diritto della prima decisione non ne costituiva un motivo di nullità, per cui il perito non poteva più validamente riprenderla. Ha quindi accolto il ricorso contro la seconda decisione, siccome era nulla.
3.2 Al riguardo, il ricorrente si limita ad addurre che il principio della "res iudicata" sarebbe inapplicabile in concreto, poiché il perito medesimo, accortosi dell'errore, ha revocato di sua spontanea volontà la prima decisione. La critica, che non si confronta del tutto con la tesi dei giudici cantonali sull'impossibilità della revoca del primo provvedimento, è inammissibile (art. 42 cpv. 2 LTF).
4. 4.1 Il ricorrente, richiamando il principio della buona fede processuale, sostiene che anche un avvocato potrebbe fare affidamento sulle indicazioni delle autorità. Al riguardo, senza tuttavia confrontarsi con la pertinente giurisprudenza esposta nella sentenza impugnata, che a suo giudizio non non si "attanaglierebbe" alla fattispecie, egli si limita a sostenere in maniera generica e appellatoria che un'errata indicazione dei rimedi di diritto non deve comportare pregiudizio per le parti. Ora, egli era patrocinato da un legale, il quale con la dovuta diligenza poteva riconoscere l'errore nell'indicazione del termine ricorsuale già solo consultando il testo di legge (DTF 134 I 199 consid. 1.3.2; 129 II 125 consid. 3.3 pag. 134; sentenza 5A_814/2008 del 12 marzo 2009 consid. 1.2.2.2 destinata a pubblicazione). Questo principio si applica del resto anche a livello federale (art. 49 LTF; AMSTUTZ/ARNOLD, in Bundesgerichtsgesetz (BGG), 2007, n. 10 ad art. 49).
4.2 Egli adduce che il criticato giudizio gli preclude la possibilità di far esaminare il ricorso nel merito: ciò comporterebbe la perdita di una parte della superficie del suo fondo e svuoterebbe di contenuto la menzionata procedura civile, volta proprio alla rimozione di una parte del muro, ciò che equivarrebbe a un'espropriazione e quindi a una violazione della garanzia della proprietà (art. 26 Cost.). Per questo motivo la decisione impugnata sarebbe arbitraria nel suo risultato. La critica, appellatoria, non ha portata propria e non regge. Gli accennati pregiudizi sono riconducibili, semmai, alla mancata diligenza del suo legale e non tanto alle conseguenze, indirette, della criticata sentenza, per cui la stessa non è arbitraria nel risultato (DTF 134 II 124 consid. 4.1).
4.3 Il ricorrente sostiene che poteva fare affidamento sul termine di 30 giorni, ritenuta "l'indiscussa competenza e potere decisionale del perito distrettuale in materia di rettifica confini e permute" e "l'univocità" dell'indicazione. Ora, anche la circostanza che la decisione non emanava da un tribunale, ma da un perito non giurista, doveva indurre, semmai, la patrocinatrice a verificare con la richiesta diligenza l'esattezza del termine, a maggior ragione trattandosi di una procedura speciale. Anche l'invocata circostanza che il perito medesimo, in un secondo tempo, si è accorto dell'errata indicazione del termine milita a sostegno della conclusione che l'errore, come a ragione ritenuto dalla Corte cantonale, era facilmente riconoscibile.
4.4 Certo, in un caso particolare non richiamato dal ricorrente il Tribunale federale ha ritenuto che un legale poteva fare affidamento sul termine di ricorso indicato in uno scritto accompagnante il secondo invio di una decisione (sentenza 1C_152/2008 del 17 giugno 2008). Contrariamente alla fattispecie, in quella causa la seconda intimazione ha tuttavia avuto luogo, ciò che è decisivo, prima della scadenza del termine di ricorso, riportato soltanto di qualche giorno.
5.1 Ne segue che in quanto ammissibile, il ricorso dev'essere respinto. Le spese seguono la soccombenza (art. 66 cpv. 1 LTF). All'opponente, invitato a esprimersi soltanto sulla domanda di effetto sospensivo, spettano ripetibili ridotte della sede federale (art. 68 cpv. 1 LTF).
5.2 L'emanazione del presente giudizio rende privo di oggetto la domanda di effetto sospensivo.
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico del ricorrente, che rifonderà all'opponente fr. 500.-- per ripetibili della sede federale.
3. Comunicazione ai patrocinatori delle parti, al perito distrettuale di X._ e al Tribunale cantonale amministrativo.