Fatti:
A. Il 9 novembre 2010 A._ ha denunciato il fratello B._ per titolo di danneggiamento, violazione di domicilio e rimozione di termini in relazione allo spostamento e alla posa di termini di confine tra due particelle di proprietà rispettivamente del denunciante e del querelato. Il 28 marzo 2011 il Procuratore pubblico ha decretato il non luogo a procedere, ritenendo non adempiuti gli elementi costitutivi del reato, poiché ad aver eventualmente manomesso i termini o i bulloni sarebbe stato il geometra ufficiale, su mandato di entrambi e non solo del denunciato come ritenuto dal denunciante.
B. Adita dal denunciante, con giudizio del 20 luglio 2011 la Corte dei reclami penali del Tribunale d'appello del Cantone Ticino (CRP) ne ha dichiarato irricevibile il reclamo.
C. A._ impugna questa decisione con un ricorso al Tribunale federale, chiedendo di annullarla e di invitare il Ministero pubblico a espletare determinati atti istruttori.
Diritto:
1. 1.1 Il Tribunale federale esamina d'ufficio se e in che misura un ricorso può essere esaminato nel merito (DTF 137 I 371 consid. 1).
1.2 La decisione impugnata conferma la mancata apertura di un procedimento penale contro il denunciato e pone quindi fine al procedimento. Si tratta pertanto di una decisione finale pronunciata in materia penale dall'autorità cantonale di ultima istanza, contro la quale è ammissibile il ricorso in materia penale (art. 100 cpv. 1 in relazione con l'art. 46 cpv. 1 lett. b LTF).
1.3 Nella fattispecie, la decisione impugnata è stata emanata il 20 luglio 2011. La legittimazione a ricorrere del denunciante dev'essere quindi esaminata sotto il profilo dell'art. 81 LTF, sulla base del suo tenore in vigore al 1° gennaio 2011 (art. 132 cpv. 1 LTF; DTF 137 IV 246 consid. 1.3.1; sentenza 1B_119/2011 del 20 aprile 2011 consid. 1.2).
1.4 Secondo l'art. 81 cpv. 1 lett. a e b n. 5 LTF, l'accusatore privato che ha partecipato alla procedura dinanzi all'istanza precedente è abilitato ad adire il Tribunale federale, se la decisione impugnata può influire sul giudizio delle sue pretese civili. Quando questi non ha addotto le sue conclusioni civili nel procedimento penale, ciò che il ricorrente non sostiene in concreto, gli incombe di spiegare nella sede federale, conformemente alle esigenze dell'art. 42 cpv. 1 e 2 LTF; DTF 133 II 353 consid. 1), quali pretese intenda fare valere e in quale misura la decisione impugnata potrebbe avere un'incidenza sul loro giudizio; ciò in particolare laddove l'influenza sulla decisione relativa alle pretese civili non sia - come nel caso di specie - deducibile d'acchito e senza ambiguità (DTF 137 IV 246 consid. 1.3.1, 219 consid. 2.4; 1B_32/2012 del 2 febbraio 2012 consid. 2 e 1B_105/2011 del 14 settembre 2011 consid. 1.1.3).
Il ricorrente non si esprime per nulla al riguardo, per cui il ricorso è inammissibile già per questo motivo. È poi infondato per un'altra ragione.
1.5 Il Tribunale federale esamina infatti soltanto le censure sollevate e motivate. Secondo l'art. 42 cpv. 1 e 2 LTF, il gravame dev'essere sostanziato in modo sufficiente, spiegando nei motivi perché l'atto impugnato viola il diritto (DTF 133 II 249 consid. 1.4.1). Le esigenze di motivazione sono inoltre accresciute, laddove il ricorrente lamenta la violazione di diritti fondamentali e di norme del diritto cantonale (art. 106 cpv. 2 LTF), nonché l'arbitrio nell'accertamento dei fatti e nella valutazione delle prove, poiché ciò equivale a sostenere che i fatti sono stati accertati in violazione dell'art. 9 Cost. e del diritto federale (DTF 136 II 304 consid. 2.4 e 2.5; 136 I 229 consid. 4.1).
2. 2.1 La CRP ha dichiarato irricevibile il reclamo, in quanto non rispettava le necessarie esigenze di motivazione. Essa l'ha inoltre respinto nel merito, poiché, fondandosi tra l'altro sulla documentazione agli atti, tra cui un piano di mutazione relativo a una rettifica dei confini voluta dal padre del denunciante e una dichiarazione del geometra ufficiale, ha ritenuto che il confine tra le particelle in questione è demarcato in maniera corretta, aggiungendo che se del caso la fattispecie rivestirebbe carattere di natura prettamente civile. A titolo abbondanziale la CRP ha poi aggiunto che il magistrato, sulla base di un apprezzamento anticipato delle prove, poteva rinunciare a interrogare il denunciato, a esperire un sopralluogo e a far allestire una perizia sul grado di freschezza dell'apposizione dei bulloni presenti sui muri.
2.2 Il ricorrente, che fa valere soltanto un accertamento arbitrario dei fatti, si limita a sostenere che la mancata assunzione dei citati mezzi di prova, nonché di altri, sarebbe arbitraria, poiché al suo dire il geometra avrebbe dichiarato di aver posato un solo termine, per cui sia la nuova posa di un bullone sia lo spostamento di un altro non sarebbero stati effettuati dal geometra, ma da terzi non autorizzati ad accedere alla sua proprietà. Il mancato accertamento della rimozione di un termine posato da un'autorità sarebbe pertanto arbitrario.
2.3 La Corte cantonale, in applicazione dell'art. 139 cpv. 2 CPP, secondo cui i fatti irrilevanti, manifesti, noti all'autorità penale oppure già comprovati sotto il profilo giuridico non sono oggetto di prova, ha ritenuto, sulla base di un apprezzamento anticipato delle prove (al riguardo vedi DTF 136 I 229 consid. 5.3), valutazione esaminata dal Tribunale federale soltanto sotto il ristretto profilo dell'arbitrio (DTF 131 I 153 consid. 3; su questa nozione vedi DTF 137 I 1 consid. 2.4) che si poteva rinunciare ad assumerle.
Al riguardo, il ricorrente rileva semplicemente che, anche nell'ipotesi in cui perlomeno un bullone sarebbe ubicato o corrisponderebbe ai dati attuali iscritti a catasto, poiché la sua posa fresca non sarebbe attribuibile al geometra, essa sarebbe stata effettuata da terzi non autorizzati. La questione non dev'essere esaminata oltre. In effetti, quando la decisione impugnata, come in concreto, si fonda su diverse motivazioni indipendenti e di per sé sufficienti per definire l'esito della causa, il ricorrente è tenuto, pena l'inammissibilità, a dimostrare che ognuna di esse viola il diritto (DTF 133 IV 119 consid. 6.3). Ora, egli non censura, perlomeno con una motivazione conforme a quanto prescritto dall'art. 42 LTF, l'argomento principale posto a fondamento della decisione d'irricevibilità, segnatamente la carenza di motivazione del reclamo. Né egli contesta la seconda argomentazione addotta dai giudici cantonali, ossia che non potrebbero essere considerati termini o altri segni di confine quelli posati unilateralmente, né che, sulla base degli atti, il confine tra le particelle in questione sarebbe demarcato in maniera corretta, né che, infine, si tratterebbe di una vertenza di natura prettamente civile. Il relativo accenno di critica è chiaramente infondato.
3. Il ricorso, in quanto ammissibile, dev'essere pertanto respinto. Le spese seguono la soccombenza (art. 66 cpv. 1 LTF).
Per questi motivi, il Tribunale federale pronuncia:
1. Nella misura in cui è ammissibile, il ricorso è respinto.
2. Le spese giudiziarie di fr. 2'000.-- sono poste a carico del ricorrente.
3. Comunicazione ai patrocinatori delle parti, al Ministero pubblico e alla Corte dei reclami penali del Tribunale d'appello del Cantone Ticino.