Sachverhalt:
A. X._ war Eigentümer des Grundstücks Nr. 1461 in Q._. Am 22. Dezember 1970 trennte er von seinem Grundstück eine Teilfläche als Grundstück Nr. 1939 ab. Dieses verkaufte er Y._. Die Vertragsparteien begründeten zudem je ein "Fahrrecht" zugunsten und zulasten ihrer Grundstücke.
A._ und B._ sind heute Miteigentümer des Grundstücks Nr. 619 (früher Nr. 1461). Das nördlich daran angrenzende Grundstück Nr. 96 (früher Nr. 1939) befindet sich im Miteigentum von C._ und D._. Die beiden Grundstücke grenzen auf der Ostseite an die S._strasse an.
B. Mit Weisung des Friedensrichteramtes R._ vom 26. April 2010 beantragten C._ und D._ dem Bezirksgericht Kreuzlingen die Löschung des ihr Grundstück Nr. 96 belastenden Fahrrechts. A._ und B._ beantragten die Abweisung der Klage und verlangten ihrerseits widerklageweise die Löschung des ihr Grundstück Nr. 619 belastenden Fahrrechts sowie eine Verlegung des zulasten des Grundstücks Nr. 96 von C._ und D._ bestehenden Fahrrechts.
Mit Urteil vom 16. September 2010 hiess das Bezirksgericht die Klage und Widerklage auf Ablösung der Fahrrechte gut. Den Antrag von A._ und B._ auf Verlegung des Fahrrechts erklärte es als gegenstandslos.
C. Dagegen gelangten A._ und B._ an das Obergericht des Kantons Thurgau. Dieses hiess die Berufung mit Urteil vom 15. Februar 2011 insofern teilweise gut (Ziff. 1 des Dispositivs), als es die Ablösung des Fahrrechts zulasten des Grundstücks Nr. 96 von C._ und D._ und zugunsten des Grundstücks Nr. 619 von A._ und B._ nur gegen Leistung einer Entschädigung von Fr. 100.-- erklärte (Ziff. 2 des Dispositivs). Im Übrigen bestätigte es den bezirksgerichtlichen Entscheid betreffend die Ablösung des Fahrrechts zulasten des Grundstücks Nr. 619 von A._ und B._ (Ziff. 3 des Dispositivs) und regelte die Kosten (Ziff. 4 des Dispositivs).
D. Dem Bundesgericht beantragen A._ und B._ (nachfolgend Beschwerdeführer) in ihrer subsidiären Verfassungsbeschwerde vom 1. April 2011 die Aufhebung des obergerichtlichen Entscheides und die Bestätigung des Bestands des Fahrrechts zulasten des Grundstücks Nr. 96 von C._ und D._ (nachfolgend Beschwerdegegner) und zugunsten ihres Grundstücks Nr. 619, unter Kosten- und Entschädigungsfolgen zulasten der Beschwerdegegner.
Zudem ersuchen die Beschwerdeführer um aufschiebende Wirkung. Die Beschwerdegegner und das Obergericht haben sich dazu nicht vernehmen lassen. Mit Verfügung vom 2. Mai 2011 hat die Abteilungspräsidentin der Beschwerde die aufschiebende Wirkung zuerkannt.
Das Bundesgericht hat die Akten, hingegen in der Sache keine Vernehmlassungen eingeholt.

Erwägungen:
1. 1.1 Die vorliegende Streitigkeit betrifft eine Zivilsache in einer vermögensrechtlichen Angelegenheit (Art. 72 Abs. 1 und Art. 74 Abs. 1 BGG; Urteil 5D_63/2009 vom 23. Juli 2009 E. 1). Die Beschwerde in Zivilsachen ist damit insbesondere nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (<ref-law>) oder sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>). Das Obergericht hat den Streitwert im angefochtenen Entscheid auf höchstens Fr. 7'999.-- beziffert. Da die Beschwerdeführer nicht ausführen, inwiefern ein höherer Streitwert massgebend sein soll (<ref-law>; vgl. <ref-ruling> E. 1.1.1 S. 62) oder sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (<ref-law>), steht - wie beantragt - einzig die subsidiäre Verfassungsbeschwerde zur Verfügung (<ref-law>).
Entschieden hat das Obergericht als letzte kantonale Rechtsmittelinstanz durch Urteil, welches das Verfahren abschliesst (Art. 114 i.V.m. <ref-law> und Art. 117 i.V.m. <ref-law>).
Entschieden hat das Obergericht als letzte kantonale Rechtsmittelinstanz durch Urteil, welches das Verfahren abschliesst (Art. 114 i.V.m. <ref-law> und Art. 117 i.V.m. <ref-law>).
1.2 1.2.1 Die Beschwerde hat ein Begehren zu enthalten (<ref-law>). Da die Beschwerde an das Bundesgericht ein reformatorisches Rechtsmittel darstellt (Art. 117 i.V.m. <ref-law>), dürfen sich die Beschwerdeführer grundsätzlich nicht darauf beschränken, die Aufhebung des angefochtenen Entscheides zu beantragen, sondern müssen ein Begehren in der Sache stellen.
Die Beschwerdeführer beantragen zwar die Aufhebung des gesamten obergerichtlichen Urteils, stellen jedoch einzig in Bezug auf die Ziff. 2 des Dispositivs (Klage auf Ablösung des Fahrrechts zulasten des Grundstücks Nr. 96 der Beschwerdegegner und zugunsten des Grundstücks Nr. 619 der Beschwerdeführer) einen reformatorischen Antrag, der sinngemäss auf Abweisung der Klage der Beschwerdegegner auf Ablösung dieser Dienstbarkeit lautet. Auch die Beschwerdebegründung - die zur Interpretation der Rechtsbegehren beigezogen werden kann (<ref-ruling> E. 1.2 S. 136) - bezieht sich einzig auf den in Ziff. 2 des angefochtenen Dispositivs geregelten Gegenstand.
Das Rechtsbegehren ist in diesem Sinne zu interpretieren. Da die Beschwerdeführer (zurecht) bereits ihre Berufungsanträge an das Obergericht nur auf diese Streitfrage begrenzt haben, wären darüber hinausgehende Begehren ohnehin unzulässig (<ref-law>; <ref-ruling> E. 3.4.2 S. 365).
1.2.2 Die Beschwerdeführer erheben in ihrer Beschwerdebegründung (eventualiter, das heisst für den Fall, dass die Bejahung des Anspruchs der Beschwerdegegner auf Ablösung der Dienstbarkeit nicht beanstandet werden sollte) auch eine Rüge im Zusammenhang mit der Festsetzung der Entschädigung nach <ref-law> und fordern eine höhere Entschädigung. Insoweit fehlt es aber an einem entsprechenden Eventualbegehren, das überdies zu beziffern gewesen wäre (<ref-ruling> E. 2 S. 236 f.).
Wird damit ein Teil der Begründung - die der Erklärung der Rechtsbegehren dient (Urteil 5A_574/2010 vom 27. Dezember 2010 E. 3.3.3 mit Hinweis) - von den Begehren nicht umfasst, ist auf diese Rüge von vornherein nicht einzutreten.
1.3 In einem ersten Teil der Beschwerde kritisieren die Beschwerdeführer in sachverhaltlicher Hinsicht das erstinstanzliche Urteil des Bezirksgerichts.
Anfechtungsobjekt vor Bundesgericht ist nicht das Urteil des Bezirksgerichts, sondern einzig der Entscheid der letzten kantonalen Instanz, das heisst vorliegend des Obergerichts, das auf Berufung hin sämtliche Tat- und Rechtsfragen frei überprüfen konnte (vgl. § 223 des Gesetzes des Kantons Thurgau vom 6. Juli 1988 über die Zivilrechtspflege [ZPO; RB 271; in Kraft bis 31. Dezember 2010]).
Soweit die Beschwerdeführer das bezirksgerichtliche Urteil beanstanden, ist darauf nicht einzutreten.
2. 2.1 Mit der subsidiären Verfassungsbeschwerde kann einzig die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Es gilt insoweit das strenge Rügeprinzip (Art. 117 i.V.m. <ref-law>). Die Rüge muss in der Beschwerde präzise vorgebracht und begründet werden (<ref-ruling> E. 1.4 S. 400 f.; <ref-ruling> E. 1.4.2 S. 254 mit Hinweisen). Die Beschwerdeführer müssen dabei anhand der Erwägungen des angefochtenen Entscheids genau angeben, welches verfassungsmässige Recht durch den angefochtenen kantonalen Entscheid verletzt wurde, und im Einzelnen darlegen, worin die Verletzung besteht. Das Bundesgericht prüft nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 2 S. 334; <ref-ruling> E. 4 S. 47).
2.2 Wird eine Verletzung des Willkürverbots - einschliesslich Willkür bei der Sachverhaltsfeststellung - geltend gemacht, muss im Einzelnen dargelegt werden, inwiefern der angefochtene Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (<ref-ruling> E. 2.2 S. 246).
2.2.1 Willkür in der Rechtsanwendung liegt dann vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (<ref-ruling> E. 2.4 S. 5). Die Sachverhaltsfeststellung beziehungsweise Beweiswürdigung erweist sich als willkürlich, wenn das Gericht Sinn und Tragweite eines Beweismittels offensichtlich verkannt hat, wenn es ohne sachlichen Grund ein wichtiges und entscheidwesentliches Beweismittel unberücksichtigt gelassen oder wenn es auf der Grundlage der festgestellten Tatsachen unhaltbare Schlussfolgerungen gezogen hat. Dass von Sachgerichten gezogenen Schlüsse nicht mit der eigenen Darstellung der Beschwerdeführer übereinstimmen, belegt keine Willkür (<ref-ruling> E. 4.2 S. 560; <ref-ruling> E. 4.3 S. 522).
2.2.2 Willkür liegt nur vor, wenn nicht bloss die Begründung eines Entscheids, sondern auch das Ergebnis unhaltbar ist (<ref-ruling> E. 4.4 S. 315), was die Beschwerdeführer in ihrer Beschwerde aufzuzeigen haben (<ref-ruling> E. 2.1 S. 219).
3. 3.1 Die Beschwerdeführer erklären eingangs ihrer Beschwerde "ihre Eingaben und Ausführungen vor Vorinstanz und vor der ersten Instanz zum integrierenden Bestandteil der vorliegenden subsidiären Verfassungsbeschwerde" (Ziff. 5 S. 3 der Beschwerde).
Die erhobenen Rügen müssen in der Beschwerdeschrift selber enthalten sein. Der blosse Verweis auf Ausführungen in anderen Rechtsschriften oder auf die Akten reicht nicht aus und ist unzulässig (<ref-ruling> E. 3.1 S. 399 f.).
3.2 Schliesslich beanstanden die Beschwerdeführer in ihrer Beschwerde mehrmals den angefochtenen Entscheid, ohne jedoch rechtsgenügliche Rügen zu erheben und anzugeben, welches verfassungsmässige Recht verletzt worden sein soll (z.B. Ziff. 3 und 4 S. 5 f. der Beschwerde). So kritisieren sie insbesondere, das Obergericht habe zu Unrecht ihr Vorbringen (wonach das Fahrrecht nicht primär für den Landwirtschaftsbetrieb und die Bewirtschaftung des hinter dem Wohnhaus liegenden Landes, sondern in erster Linie für die Zufahrten zum Wohnhaus mit Holz errichtet worden sei), als nach <ref-law>/TG verspätet erachtet und damit unzulässigerweise nicht berücksichtigt. Eine Rüge (insbesondere der willkürlichen Anwendung von <ref-law>/TG) bringen die Beschwerdeführer nicht vor.
Fehlt es an einer Rüge der Verletzung verfassungsmässiger Rechte, ist darauf nicht einzutreten (vgl. E. 2.1 oben).
4. 4.1 Das Obergericht hielt fest, das strittige Fahrrecht sei am 30. Dezember 1970 folgendermassen in das Grundbuch eingetragen worden:
Fahrrecht zugunsten Parzelle Nr. 619 und zulasten Parzelle Nr. 96: "Jederzeitiges und ungehindertes Fahrrecht auf einer Breite von zwei Metern entlang der Grenze West-Ost mit einem Einlenker auf die Staatsstrasse. Das Fahrrecht darf für die Bewirtschaftung des hinterliegenden Landes sowie für die notwendigen Zufuhren zum Wohnhaus auf Parzelle Nr. 619 benützt werden, insbesondere für Holz, Mist, usw. Die genaue Lage des Fahrrechts ist im beiliegenden Plan skizziert."
4.2 Bei der Prüfung des Inhalts und Umfangs der Dienstbarkeit nach <ref-law> hielt das Obergericht fest, der Grundbucheintrag sei klar. Neben der Breite und Lage des Fahrrechts werde dieses auf zwei Zwecke beschränkt: Einerseits auf die Bewirtschaftung des hinterliegenden Landes und andererseits auf notwendige Zufuhren zum Wohnhaus. Die Bewirtschaftung des Landes sei aber quantitativ und qualitativ wichtiger gewesen und stelle damit den Hauptzweck dar.
Der Hauptzweck sei inzwischen endgültig weggefallen, weil das hinter dem Wohnhaus liegende Landwirtschaftsland überbaut und separat erschlossen worden sei. Nach wie vor ausgewiesen und aktuell sei jedoch das Interesse des berechtigten Grundstücks der Beschwerdeführer an der Holzzufuhr. Mit dem Wegfall des Hauptzwecks sei das Interesse des berechtigten Grundstücks aber "massiv reduziert" beziehungsweise habe sich "unverhältnismässig reduziert", weshalb der Tatbestand von <ref-law> erfüllt sei.
4.3 Die Höhe der Entschädigung gemäss <ref-law> setzte das Obergericht auf Fr. 100.-- fest, da davon ausgegangen werden müsse, dass pro Jahr nicht mehr als eine oder allenfalls zwei Fahrten mit Holz nötig seien, zumal die Beschwerdeführer nicht (rechtzeitig) Angaben zum jährlichen Brennholzverbrauch gemacht hätten. Das verbleibende Interesse sei damit so geringfügig, dass sich keine höhere Entschädigung rechtfertige.
5. 5.1 Die Beschwerdeführer rügen in zweierlei Hinsicht eine Verletzung ihres Anspruchs auf rechtliches Gehör gemäss <ref-law>.
5.2 Das Recht, angehört zu werden, ist formeller Natur. Dessen Verletzung führt ungeachtet der materiellen Begründetheit des Rechtsmittels zur Gutheissung der Beschwerde und zur Aufhebung des angefochtenen Entscheids (<ref-ruling> E. 2.6.1 S. 285). Diese Rügen sind deshalb vorweg zu behandeln.
5.2 Das Recht, angehört zu werden, ist formeller Natur. Dessen Verletzung führt ungeachtet der materiellen Begründetheit des Rechtsmittels zur Gutheissung der Beschwerde und zur Aufhebung des angefochtenen Entscheids (<ref-ruling> E. 2.6.1 S. 285). Diese Rügen sind deshalb vorweg zu behandeln.
5.3 5.3.1 Einerseits machen sie sinngemäss geltend, von ihnen (und den Beschwerdegegnern) erhobene Beweisanträge auf Einvernahme von Zeugen seien nicht berücksichtigt worden.
Damit berufen sich die Beschwerdeführer auf eine Verletzung ihres Anspruchs auf Beweisführung. Dieser Anspruch beschlägt <ref-law> und ist daher grundsätzlich als Verletzung dieser Bestimmung geltend zu machen. Eine Ausnahme drängt sich indes auf, wenn - wie hier - einzig die Verletzung verfassungsmässiger Rechte gerügt und somit ein Verstoss gegen <ref-law> im Gegensatz zur Verletzung von <ref-law> nicht frei geprüft werden kann (Urteil 5A_193/2008 vom 13. Mai 2008 E. 3.1).
5.3.2 Der Beweisführungsanspruch verleiht der Partei das Recht darauf, für rechtserhebliche Sachvorbringen zum Beweis zugelassen zu werden, wenn ihr Beweisantrag rechtzeitig und formrichtig erfolgt (<ref-ruling> E. 5.3 S. 148).
5.3.3 Die Beschwerdeführer legen nicht dar, welche (rechtserheblichen) Tatsachenbehauptungen sie aufgestellt und dazu prozesskonform Beweis angeboten haben sollen. Auf diese Rüge ist nicht einzutreten (vgl. E. 2.1 oben).
5.3.3 Die Beschwerdeführer legen nicht dar, welche (rechtserheblichen) Tatsachenbehauptungen sie aufgestellt und dazu prozesskonform Beweis angeboten haben sollen. Auf diese Rüge ist nicht einzutreten (vgl. E. 2.1 oben).
5.4 5.4.1 Andererseits halten die Beschwerdeführer im letzten Satz ihrer Beschwerdeschrift fest, "schliesslich" sei der angefochtene Entscheid auch mangelhaft begründet.
5.4.2 Wesentlicher Bestandteil des Anspruchs auf rechtliches Gehör ist die Verpflichtung der Behörde, ihren Entscheid zu begründen. Dabei ist es nicht erforderlich, dass sie sich mit allen Parteistandpunkten einlässlich auseinandersetzt und jedes einzelne Vorbringen ausdrücklich widerlegt. Vielmehr kann sie sich auf die für den Entscheid wesentlichen Punkte beschränken. Die Begründung muss so abgefasst sein, dass sich der Betroffene über die Tragweite des Entscheids Rechenschaft geben und ihn in voller Kenntnis der Sache an die höhere Instanz weiterziehen kann. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde hat leiten lassen und auf die sich ihr Entscheid stützt (vgl. <ref-ruling> E. 5.2 S. 236).
5.4.3 Die Beschwerdeführer erheben einzig die Rüge der mangelhaften Begründung des Entscheides, gehen aber nicht weiter darauf ein. Sie zeigen nicht auf, inwiefern etwa eine Auseinandersetzung mit ihren Argumenten fehlen oder inwieweit eine sachgerechte Anfechtung nicht möglich sein soll. Auf diese Rüge ist nicht einzutreten (vgl. E. 2.1 oben).
6. 6.1 Die Beschwerdeführer werfen dem Obergericht zudem Willkür (<ref-law>) in der Sachverhaltsfeststellung sowie in der Rechtsanwendung vor.
6. 6.1 Die Beschwerdeführer werfen dem Obergericht zudem Willkür (<ref-law>) in der Sachverhaltsfeststellung sowie in der Rechtsanwendung vor.
6.2 6.2.1 Die Rüge der willkürlichen Sachverhaltsfeststellung begründen die Beschwerdeführer damit, dass das Fahrrecht gerade nicht den Hauptzweck gehabt habe, das hinter dem Wohnhaus liegende Land zu bewirtschaften. Dieses Vorbringen hat das Obergericht jedoch als verspätet erachtet und nicht berücksichtigt, was die Beschwerdeführer vor Bundesgericht nicht rechtsgenüglich beanstanden (vgl. E. 3.2). Damit sind diese Tatsachen auch im bundesgerichtlichen Verfahren unbeachtlich (<ref-law>; Urteil 5A_241/2010 vom 9. November 2010 E. 2.2).
Die Beschwerdeführer begnügen sich im Übrigen mit appellatorischer Kritik (<ref-ruling> E. 2.8 S. 494) und simplen Bestreitungen (<ref-ruling> E. 5 S. 489), was unzulässig ist. Sie stellen den Sachverhalt einzig aus ihrer Sicht dar, indem sie insbesondere darlegen, die Bewirtschaftung des hinter dem Wohnhaus liegenden Landes sei über eine andere Parzelle vorgenommen worden, auf der sich auch der Hof befand, von dem aus die Landbewirtschaftung erfolgt sei. Darauf ist nicht einzutreten (vgl. E. 2 oben).
6.2.2 Die Rüge der willkürlichen Rechtsanwendung begründen die Beschwerdeführer ausschliesslich damit, dass sich das Ergebnis der "offensichtlich unkorrekten" Sachverhaltsfeststellung auch auf den Entscheid ausgewirkt habe.
Nur eine Tatsachenfeststellung, die für den Ausgang des Verfahrens erheblich ist, kann als willkürlich gerügt werden (vgl. <ref-ruling> E. 4.1 S. 588 f.). Dies ist nicht dargetan (vgl. E. 6.2.1 oben). Damit wird der Rüge der willkürlichen Rechtsanwendung von vornherein die Grundlage entzogen und es kann offen gelassen werden, inwieweit die Beschwerdeführer ihre Rüge überhaupt rechtsgenüglich vorbringen.
7. Aus den dargelegten Gründen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Die Beschwerdeführer werden unter solidarischer Haftung kostenpflichtig (Art. 66 Abs. 1 und 5 BGG). Den Beschwerdegegnern ist kein entschädigungspflichtiger Aufwand entstanden (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Verfassungsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von insgesamt Fr. 2'500.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Thurgau schriftlich mitgeteilt.
Lausanne, 21. Juli 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Bettler