Sachverhalt:
A. X._ ist Eigentümer des Grundstücks Nr. 6883 in A._. Südlich daran angrenzend befindet sich das Grundstück Nr. 6885 im Miteigentum von Y._ und Z._.
Das Grundstück Nr. 6885 haben die Miteigentümer im Rahmen eines Bauprojekts in die Grundstücke Nr. 7376 und 7377 geteilt und das Grundstück Nr. 7376 anschliessend verkauft.
B. Am 12. August 2009 (Begehren um Durchführung des Sühneverfahrens vom 21. Mai 2009) erhob X._ beim Bezirksgericht B._ eine Klage gegen Y._ und Z._ auf "Wiederherstellung der Grenzmauer", die seines Erachtens auf der Grenze zwischen den Grundstücken Nr. 6885 und Nr. 6883 gestanden haben soll. Y._ und Z._ räumten ein, eine Mauer abgerissen zu haben, bestritten jedoch, dass sich diese (auch) auf dem Grundstück von X._ befunden habe.
Sowohl das Bezirksgericht (Urteil vom 16. Juli 2010) wie auf Berufung von X._ vom 25. August 2010 hin das Obergericht des Kantons Zürich (Urteil vom 29. März 2011) wiesen die Klage ab.
C. Dem Bundesgericht beantragt X._ (nachfolgend Beschwerdeführer) in seiner als Beschwerde bezeichneten Eingabe vom 27. April 2011 sinngemäss die Aufhebung des obergerichtlichen Urteils und die Verpflichtung von Y._ und Z._ (nachfolgend Beschwerdegegner) zur "Wiederherstellung der ursprünglichen Grenzmauer".
Das Bundesgericht hat die Vorakten, hingegen keine Vernehmlassungen eingeholt.

Erwägungen:
1. Die vorliegende Streitigkeit betrifft eine Zivilsache in einer vermögensrechtlichen Angelegenheit (Art. 72 Abs. 1 und Art. 74 Abs. 1 BGG). Die Beschwerde in Zivilsachen ist damit nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (Art. 74 Abs. 1 lit. b BGG) oder sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (Art. 74 Abs. 2 lit. a BGG). Das Obergericht hat den Streitwert im angefochtenen Entscheid auf "mehr als Fr. 8'000.-- und weniger als Fr. 20'000.--" beziffert. Da der Beschwerdeführer nicht ausführt, inwiefern ein höherer Streitwert massgebend sein soll (Art. 42 Abs. 2 BGG; vgl. <ref-ruling> E. 1.1.1 S. 62) oder sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (Art. 42 Abs. 2 BGG), steht einzig die subsidiäre Verfassungsbeschwerde zur Verfügung (Art. 113 BGG) und ist die Eingabe des Beschwerdeführers als solche entgegenzunehmen.
Entschieden hat das Obergericht als letzte kantonale Rechtsmittelinstanz durch Urteil, welches das Verfahren abschliesst (Art. 114 i.V.m. Art. 75 BGG und Art. 117 i.V.m. Art. 90 BGG).
2. 2.1 Mit der subsidiären Verfassungsbeschwerde kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Es gilt insoweit das strenge Rügeprinzip (Art. 117 i.V.m. Art. 106 Abs. 2 BGG). Die Rüge muss in der Beschwerde präzise vorgebracht und begründet werden. Der Beschwerdeführer muss dabei anhand der Erwägungen des angefochtenen Entscheids genau angeben, welches verfassungsmässige Recht durch den angefochtenen kantonalen Entscheid verletzt wurde, und darlegen, worin die Verletzung besteht. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 2 S. 334; <ref-ruling> E. 4 S. 47).
2.2 Wird eine Verletzung des Willkürverbots - einschliesslich Willkür bei der Sachverhaltsfeststellung - geltend gemacht, muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
3. 3.1 Das Obergericht hat in einem ersten Teil seines Urteils die vom Beschwerdeführer im Berufungsverfahren vorgebrachten neuen Vorbringen und Beweismittel (act. 43/1-6 sowie act. 50 S. 9 - 14) unter Hinweis auf § 115 und § 138 der Zivilprozessordnung des Kantons Zürich vom 13. Juni 1976 (ZPO; LS 271; in Kraft bis 31. Dezember 2010) als unzulässig erklärt.
3.2 Sodann hat es zu zwei Beweismittelanträgen des Beschwerdeführers für das Berufungsverfahren Stellung genommen. Den Antrag auf "Einforderung und Auswertung" der Daten von zwei von den Beschwerdegegnern installierten Webcams wies es ab und deutete subsidiär darauf hin, diese Daten wären als neue Beweismittel ohnehin nicht zugelassen. Ebenso wies es den Antrag des Beschwerdeführers auf Durchführung eines Augenscheins ab.
Das Obergericht kam in tatsächlicher Hinsicht zum Schluss, der Beschwerdeführer habe zwar den Bestand der behaupteten Mauer nachgewiesen. Unbewiesen sei jedoch der genaue Verlauf dieser Mauer und damit die vom Beschwerdeführer vorgebrachte Behauptung, die Mauer habe sich auf der Grenze der beiden Grundstücke befunden (zur Zulässigkeit des diesbezüglichen Verweises des Obergerichts auf die bezirksgerichtliche Urteilsbegründung vgl. <ref-ruling> E. 2c S. 34).
Habe damit der Beschwerdeführer die Vermutungsbasis von Art. 670 ZGB - wonach Miteigentum vermutet wird, wenn Vorrichtungen zur Abgrenzung zweier Grundstücke auf der Grenze stehen - nicht bewiesen, sei auch nicht von Miteigentum an der fraglichen Mauer auszugehen (und entfalle eine Verletzung seines Eigentumsrechts). Zudem habe er nie behauptet, die Mauer habe sich vollumfänglich auf seinem Grundstück und damit in seinem Alleineigentum befunden.
3.3 Schliesslich prüfte das Obergericht, ob sich die Beschwerdegegner in einer Vereinbarung mit dem Beschwerdeführer zum Wiederaufbau der fraglichen Mauer verpflichtet haben und dieser Vertrag als Anspruchsgrundlage für die Klage des Beschwerdeführers dienen könnte. Wiederum unter Verweis auf die bezirksgerichtliche Urteilsbegründung verneinte dies das Obergericht, da eine solche Vereinbarung zwischen den Parteien nicht zustande gekommen sei.
4. 4.1 Der Beschwerdeführer wendet sich vor dem Bundesgericht primär gegen die obergerichtliche Beweiswürdigung. Er rügt insofern eine Verletzung des Willkürverbots gemäss Art. 9 BV. Das Obergericht hätte seinem Antrag auf Einholung der Daten der beiden Webcams "nachgehen müssen" und es sei ihm nicht möglich gewesen, diese Tatsachen bereits im bezirksgerichtlichen Verfahren vorzubringen, weshalb das Obergericht zu Unrecht (subsidiär) von der Neuheit dieser Vorbringen ausgehe. Zudem hätte anhand eines Augenscheins auch noch aufgrund der aktuellen Verhältnisse nachgewiesen werden können, was genau verändert worden sei.
4.2 Es kann offen gelassen werden, ob der Beschwerdeführer mit dieser Begründung den Anforderungen an das Rügeprinzip (vgl. E. 2 oben) gerecht wird. Wie nachfolgend aufzuzeigen sein wird, erweisen sich die Rügen ohnehin als unbegründet.
4.3 Einen Anspruch darauf, für rechtserhebliche Sachvorbringen zum Beweis zugelassen zu werden - wenn ihr Beweisantrag nach Form und Inhalt den Vorschriften des kantonalen Rechts entspricht - geben der beweisbelasteten Partei sowohl Art. 29 Abs. 2 BV (<ref-ruling> E. 3 S. 157) als auch Art. 8 ZGB (<ref-ruling> E. 7.1 S. 299), wobei für die Beurteilung zivilrechtlicher Ansprüche Art. 8 ZGB massgebend ist (vgl. Urteil 5A_726/2009 vom 30. April 2010 E. 3.1, nicht publ. in: <ref-ruling>). Eine Ausnahme drängt sich indes auf, wenn einzig die Verletzung verfassungsmässiger Rechte gerügt und somit ein Verstoss gegen Art. 8 ZGB im Gegensatz zur Verletzung von Art. 29 Abs. 2 BV nicht frei geprüft werden könnte (Urteil 5A_193/2008 vom 13. Mai 2008 E. 3.1).
Der Beweisführungsanspruch ist nicht verletzt, wenn das Gericht beantragte Beweiserhebungen ablehnt, weil es - wie hier - davon ausgeht, weitere Beweisabnahmen seien nicht geeignet, die behauptete Tatsache zu beweisen oder die bereits aus anderen Beweisen gewonnene Überzeugung zu erschüttern (vgl. <ref-ruling> E. 5.3 S. 236 f.; <ref-ruling> E. 3c S. 223 f.). Derart vorweggenommene Beweiswürdigung prüft das Bundesgericht auf Willkür hin (vgl. <ref-ruling> E. 3 S. 157).
Der Beweisführungsanspruch ist nicht verletzt, wenn das Gericht beantragte Beweiserhebungen ablehnt, weil es - wie hier - davon ausgeht, weitere Beweisabnahmen seien nicht geeignet, die behauptete Tatsache zu beweisen oder die bereits aus anderen Beweisen gewonnene Überzeugung zu erschüttern (vgl. <ref-ruling> E. 5.3 S. 236 f.; <ref-ruling> E. 3c S. 223 f.). Derart vorweggenommene Beweiswürdigung prüft das Bundesgericht auf Willkür hin (vgl. <ref-ruling> E. 3 S. 157).
4.4 4.4.1 Das Obergericht hat den Beweisantrag im Zusammenhang mit den Daten der Webcams abgewiesen, weil nicht ersichtlich sei, was daraus für die einzig rechtserhebliche Frage des Grenzverlaufs abgeleitet werden könnte. Als Eventualbegründung hat das Obergericht sodann darauf hingewiesen, dass die verlangten Daten als neue Beweismittel ohnehin unberücksichtigt zu bleiben hätten.
Was den Beweismittelantrag auf Durchführung eines Augenscheins betrifft, hat das Obergericht ebenfalls ausgeführt, es sei nicht ersichtlich, inwiefern damit etwas "Schlüssiges über den Verlauf der Mauer" abgeleitet werden könnte.
4.4.2 Das Obergericht ging vom Bestand der Mauer aus, hingegen blieb unklar, wo sich die Grundstücksgrenze befand und damit war nicht nachgewiesen, dass die Mauer auf der Grenze stand. Der Beschwerdeführer behauptet nicht, dass sich aufgrund der tatsächlichen Verhältnisse (z.B. durch Grenzsteine oder -markierungen) Hinweise zu dieser Frage ergäben. Es ist demnach nicht ersichtlich, inwiefern das Obergericht in Willkür verfallen sein soll, wenn es die Beweisanträge mangels Rechtserheblichkeit abwies. Die Willkürrüge erweist sich als unbegründet.
5. Ist damit die Beweiswürdigung des Obergerichts nicht zu beanstanden und fehlt es am Nachweis der Vermutungsbasis von Art. 670 ZGB, braucht auf die Argumentation des Beschwerdeführers in seiner Beschwerde, wonach der "Abriss" der Mauer durch die Beschwerdegegner unrechtmässig erfolgt sei, nicht weiter eingegangen zu werden.
6. Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden. Der Beschwerdeführer wird kostenpflichtig (Art. 66 Abs. 1 BGG). Den Beschwerdegegnern ist kein entschädigungspflichtiger Aufwand entstanden (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Verfassungsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 22. August 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Bettler