Sachverhalt:
A. A.a X._, Y._ und Z._ (nachfolgend Beschwerdeführer) sind Stockwerkeigentümer des Grundstücks Nr. 61 (zuvor Nr. 432) auf dem Gebiet der Gemeinde V._. In südlicher Richtung daran angrenzend befindet sich das im Eigentum von W._ (nachfolgend Beschwerdegegner) stehende Grundstück Nr. 60 (zuvor Nr. 629). An der jeweils westlichen Grenze der beiden Grundstücke verläuft die öffentliche Strasse.
A.b Mit Grunddienstbarkeitsvertrag vom 8. Mai 1957 räumten sich die damaligen Eigentümer A._ (Grundstück Nr. 60) und B._ (Grundstück Nr. 61) "gegenseitig zwischen den beiden Häusern, soweit die Grenzlinie GBNr. 432 [heute Nr. 61] B._ verläuft, das Fuss- und Fahrwegrecht mit allen Fahrzeugen ein" (Hervorhebung im Original).
Entsprechend wurde diese Dienstbarkeit im Grundbuch mit dem Wortlaut "Fuss- und Fahrwegrecht mit allen Fahrzeugen" (nachfolgend als "Wegrecht" bezeichnet) sowohl als Recht und Last gegenseitig auf den Grundstücken Nr. 60 und 61 eingetragen. Dieser Weg befindet sich auf der Fläche zwischen der südlichen Hausfassade auf Grundstück Nr. 61 und der nördlichen Hausfassade auf Grundstück Nr. 60 und dient auf der westlichen Seite dem Zugang zur öffentlichen Strasse.
A.c Am 7. Februar 2006 reichten die Beschwerdeführer ein Baugesuch für einen Erweiterungsbau ein. Der Gemeinderat erteilte ihnen am 3. Juli 2006 die Baubewilligung und wies darin die vom Beschwerdegegner erhobene Einsprache ab. In der Folge tätigten die Beschwerdeführer den bewilligten Erweiterungsbau. Insbesondere errichteten sie auf der südlichen Seite ihres Hauses auf dem Grundstück Nr. 61 einen Steg, der von der öffentlichen Strasse entlang der Südseite zum neuen Hauseingang auf der Ost- beziehungsweise Hinterseite des Gebäudes führt. Aufgrund des gegen Osten herabfallenden Terrains ist dieser Zugang (der sich im Bereich der öffentlichen Strasse noch auf dem gleichen Niveau wie diese befindet) zur Hinterseite gegenüber der Fläche zwischen den beiden Häusern der Parteien je länger je mehr erhöht. Im hinteren Bereich (Ecke zwischen der Süd- und Ostfront) überragt der Steg die Fläche zwischen den beiden Häusern.
A.d Mit Klage vom 7. September 2007 (Vermittlungsbegehren vom 15. Mai 2007) verlangte der Beschwerdegegner, die Beschwerdeführer seien zu verpflichten, sämtliche Bauteile auf ihrem Grundstück Nr. 61, die in eine (mit Koordinaten bestimmte) Fläche von 0.75 m2 "hineinragen und das Strassenterrain überragen", zu entfernen, da sie damit das vereinbarte Wegrecht verletzten.
Mit Urteil vom 8. Juni 2009 wies das Bezirksgericht C._ die Klage ab. Da weder der Grundbucheintrag noch der Dienstbarkeitsvertrag oder die Ausübung Rückschlüsse auf die Breite des Wegrechts zuliessen, bestimmte es dessen Breite gestützt auf kantonales Recht auf 2.7 Meter. Es kam zum Schluss, dass der fragliche Anbau der Beschwerdeführer mit einer Fläche von 0.75 m2 das Wegrecht nicht beeinträchtige.
B. Auf Berufung des Beschwerdegegners hiess das Kantonsgericht Schwyz die Klage mit Urteil vom 19. Mai 2010 gut und verpflichtete die Beschwerdeführer, sämtliche Bauteile auf ihrem Grundstück Nr. 61, die in die (mittels Punkten auf dem Katasterplan bestimmte) Fläche hineinragen und die Strassenlinie überragen, ersatzlos und auf eigene Kosten, unter solidarischer Haftung, zu entfernen. Es bejahte im Umfang dieser Fläche eine Verletzung der Dienstbarkeit.
C.a Dem Bundesgericht beantragen die Beschwerdeführer in ihrer Beschwerde in Zivilsachen vom 14. September 2010 die Aufhebung des kantonsgerichtlichen Urteils im Umfang der Gutheissung der Berufung und sinngemäss die Abweisung der Klage des Beschwerdegegners. Zudem verlangen sie antragsgemäss die Neuverlegung der kantonalen Kosten und ersuchen um aufschiebende Wirkung.
Der Beschwerdegegner hat sich dem Gesuch um aufschiebende Wirkung nicht widersetzt. Das Kantonsgericht hat sich dazu nicht vernehmen lassen. Mit Verfügung vom 28. September 2010 hat das präsidierende Mitglied der II. zivilrechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zuerkannt.
C.b In der Sache schliessen sowohl das Kantonsgericht (Vernehmlassung vom 2. Dezember 2010) als auch der Beschwerdegegner (Vernehmlassung vom 10. Dezember 2010) auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1. 1.1 Der Entscheid einer letzten kantonalen Instanz über den Inhalt und Umfang einer Grunddienstbarkeit betrifft eine Zivilsache (<ref-law>) in einer vermögensrechtlichen Angelegenheit. Die Beschwerde in Zivilsachen ist grundsätzlich nur zulässig, wenn der Streitwert mindestens Fr. 30'000.-- beträgt (<ref-law>). Das Kantonsgericht hat den Streitwert in der Rechtsmittelbelehrung mit "mehr als Fr. 30'000.--" angegeben. Diese Streitwertangabe wird vom Beschwerdegegner in seiner Vernehmlassung nicht bestritten und erweist sich auch nicht als offensichtlich falsch (<ref-ruling> E. 1.1.1 S. 62 f.). Auf die Beschwerde kann grundsätzlich eingetreten werden.
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Rechtsverletzungen und Argumente noch an die Erwägungen der Vorinstanz gebunden. Es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann eine Beschwerde mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252).
2. 2.1 Die ursprüngliche Klage des Beschwerdegegners, mit der er die Beseitigung eines Bereichs des Stegs auf einer Fläche von 0.75 m2 verlangt, stützt sich auf <ref-law>. Demnach darf der Belastete nichts vornehmen, was die Ausübung der Dienstbarkeit verhindert oder erschwert. Gegen eine solche unzulässige Behinderung kann sich der Berechtigte mit einer Unterlassungs- oder Beseitigungsklage (sog. actio confessoria; <ref-ruling> E. 3a S. 29; <ref-ruling> E. 3 S. 19) zur Wehr setzen.
2.2 Die Anwendung von <ref-law> (E. 5) setzt zunächst die Ermittlung von Inhalt und Umfang der Dienstbarkeit voraus (E. 3 und 4).
3. 3.1 Für die Ermittlung von Inhalt und Umfang einer Dienstbarkeit gibt <ref-law> eine Stufenordnung vor. Ausgangspunkt ist der Grundbucheintrag. Soweit sich Rechte und Pflichten aus dem Eintrag deutlich ergeben, ist dieser für den Inhalt der Dienstbarkeit massgebend (<ref-law>). Nur wenn sein Wortlaut unklar ist, darf im Rahmen des Eintrags auf den Erwerbsgrund, das heisst den Begründungsakt, zurückgegriffen werden. Ist auch der Erwerbsgrund nicht schlüssig, kann sich der Inhalt der Dienstbarkeit - im Rahmen des Eintrags - aus der Art ergeben, wie sie während längerer Zeit unangefochten und in gutem Glauben ausgeübt worden ist (<ref-law>; <ref-ruling> E. 8 S. 655 f.; <ref-ruling> E. 1.1 S. 347; <ref-ruling> E. 3.1 S. 556 f.).
3. 3.1 Für die Ermittlung von Inhalt und Umfang einer Dienstbarkeit gibt <ref-law> eine Stufenordnung vor. Ausgangspunkt ist der Grundbucheintrag. Soweit sich Rechte und Pflichten aus dem Eintrag deutlich ergeben, ist dieser für den Inhalt der Dienstbarkeit massgebend (<ref-law>). Nur wenn sein Wortlaut unklar ist, darf im Rahmen des Eintrags auf den Erwerbsgrund, das heisst den Begründungsakt, zurückgegriffen werden. Ist auch der Erwerbsgrund nicht schlüssig, kann sich der Inhalt der Dienstbarkeit - im Rahmen des Eintrags - aus der Art ergeben, wie sie während längerer Zeit unangefochten und in gutem Glauben ausgeübt worden ist (<ref-law>; <ref-ruling> E. 8 S. 655 f.; <ref-ruling> E. 1.1 S. 347; <ref-ruling> E. 3.1 S. 556 f.).
3.2 3.2.1 Die Auslegung des Begründungsakts (zweite Stufe der Auslegungsordnung gemäss <ref-law>) erfolgt in gleicher Weise wie die sonstiger Willenserklärungen. Gemäss <ref-law> bestimmt sich der Inhalt des Vertrags nach dem übereinstimmenden wirklichen Willen der Parteien. Nur wenn eine tatsächliche Willensübereinstimmung unbewiesen bleibt, ist der Vertrag nach dem Vertrauensgrundsatz auszulegen. Die empirische oder subjektive hat gegenüber der normativen oder objektivierten Vertragsauslegung den Vorrang (BGE <ref-ruling> E. 3.1 S. 557).
3.2.2 Stehen sich jedoch im Streit um den Inhalt und Umfang einer Dienstbarkeit nicht mehr die ursprünglichen Vertragsparteien, sondern Dritterwerber gegenüber (oder eine ursprüngliche Vertragspartei und ein Dritterwerber), werden die allgemeinen Grundsätze der Vertragsauslegung (E. 3.2.1 oben) durch den öffentlichen Glauben des Grundbuchs (<ref-law>) begrenzt (HOHL, Le contrôle de l'interprétation des servitudes par le Tribunal fédéral, ZBGR 90/2009 S. 78).
3.2.2 Stehen sich jedoch im Streit um den Inhalt und Umfang einer Dienstbarkeit nicht mehr die ursprünglichen Vertragsparteien, sondern Dritterwerber gegenüber (oder eine ursprüngliche Vertragspartei und ein Dritterwerber), werden die allgemeinen Grundsätze der Vertragsauslegung (E. 3.2.1 oben) durch den öffentlichen Glauben des Grundbuchs (<ref-law>) begrenzt (HOHL, Le contrôle de l'interprétation des servitudes par le Tribunal fédéral, ZBGR 90/2009 S. 78).
3.3 3.3.1 Gemäss <ref-law> ist im Erwerbe zu schützen, wer sich in gutem Glauben auf einen Eintrag im Grundbuch - wobei der Dienstbarkeitsvertrag als Beleg beim Grundbuchamt aufbewahrt wird (<ref-law>) und ebenfalls einen Bestandteil des Grundbuchs bildet (<ref-law>) - verlassen und daraufhin Eigentum oder andere dingliche Rechte erworben hat. Wo das Gesetz eine Rechtswirkung an den guten Glauben einer Person geknüpft hat, ist dessen Dasein zu vermuten (<ref-law>).
Der öffentliche Glaube des Grundbuchs bedeutet nicht nur, dass der Inhalt des Grundbuchs als richtig fingiert wird (positive Seite des Publizitätsprinzips). Der Grundbucheintrag gilt vielmehr auch als vollständig (negative Seite des Publizitätsprinzips; Urteile 5C.232/2003 vom 2. März 2004 E. 2.1, nicht publ. in: <ref-ruling>, aber in: ZBGR 86/2005 S. 41; 5C.301/2005 vom 17. Februar 2006 E. 3, in: ZBGR 89/2008 S. 292).
3.3.2 Der gute Glaube ist jedoch nicht absolut geschützt. Vielmehr darf sich nicht auf seinen guten Glauben berufen, wer bei der Aufmerksamkeit, wie sie nach den Umständen von ihm verlangt werden darf, nicht gutgläubig sein konnte (<ref-law>). Selbst ein an sich gutgläubiger Erwerber muss daher nähere Erkundigungen einziehen, sofern besondere Umstände ihm Zweifel an der Genauigkeit des Eintrags aufkommen lassen (vgl. <ref-ruling> E. 2c S. 443; <ref-ruling> E. 2 S. 104). Der Entscheid darüber erfolgt aufgrund sämtlicher Umstände des konkreten Einzelfalls nach gerichtlichem Ermessen (<ref-law>; <ref-ruling> E. 2a/aa S. 3).
3.3.3 Den guten Glauben des Erwerbers in das Grundbuch zerstören kann namentlich die sog. natürliche Publizität, die darin besteht, dass der Rechtsbestand im physischen Zustand der Liegenschaft nach aussen sichtbar in Erscheinung tritt (vgl. dazu BGE 5A_60/2011 vom 1. April 2011 E. 4.1.3 mit Hinweisen).
Für Wegrechte bedeutet dies insbesondere, dass dort, wo für die Ausübung der Dienstbarkeit bauliche Anlagen erforderlich sind, diese in der Regel auch den Inhalt und den Umfang der Dienstbarkeit bestimmen, und zwar mit voller Wirkung gegenüber dem Dritterwerber, der sich grundsätzlich alles entgegenhalten lassen muss, was sich aus der Lage und der nach aussen in Erscheinung tretenden Beschaffenheit der Grundstücke ergibt (vgl. LIVER, Zürcher Kommentar, 1980, N. 31, 33 und 55 zu <ref-law>; SCHMID/HÜRLIMANN-KAUP, Sachenrecht, 3. Aufl. 2009, N. 1275c; allgemein zu baulichen Anlagen vgl. auch Urteile 5C.27/2006 vom 3. August 2006 E. 3.2; 5C.257/2001 vom 3. Dezember 2001 E. 2b/aa und 2b/bb).
In diesem Sinn hat das Bundesgericht festgehalten, dass nach allgemeiner Lebenserfahrung niemand ein wegrechtsberechtigtes Grundstück kaufe, ohne es vorher zu besichtigen, und dass - Ausnahmefälle vorbehalten - kein Dritterwerber in gutem Glauben geltend machen könne, er habe die im Grundbucheintrag (wozu wie erwähnt auch der Dienstbarkeitsvertrag zählt) nicht erwähnten Besonderheiten des Wegrechts nicht gekannt, die für ihn bei einer Besichtigung erkennbar gewesen wären. Wird folglich der Inhalt und Umfang des Wegrechts durch die örtlichen Gegebenheiten für jedermann sichtbar beschränkt, hat sich der Erwerber dies grundsätzlich entgegenhalten zu lassen (vgl. Urteil 5C.71/2006 vom 19. Juli 2006 E. 2.3, in: ZBGR 88/2007 S. 467 ff.; BGE 5A_60/2011 vom 1. April 2011 E. 4.2.3; ähnlich Urteil 5A_846/2009 vom 12. März 2010 E. 4.2, in: ZBGR 92/2011 S. 116 f.; HOHL, a.a.O., S. 79; PIOTET, Le contenu d'une servitude, sa modification conventionnelle et la protection de la bonne foi, ZBGR 81/2000 S. 288; unklar ESCHMANN, Auslegung und Ergänzung von Dienstbarkeiten, 2005, S. 41 f. und S. 95 f.; teilweise abweichend und kritisch hingegen KOLLER, Bemerkungen zum zitierten Urteil 5C.71/2006, AJP 2008 S. 474 f.).
4. 4.1 Im vorliegend zu beurteilenden Fall lautet der Grundbucheintrag "Fuss- und Fahrwegrecht mit allen Fahrzeugen".
Das Kantonsgericht hat insoweit zutreffend erwogen (was die Beschwerdeführer zudem nicht bestreiten), dass sich aus dem Grundbucheintrag (<ref-law>) keine Einzelheiten zum Inhalt und Umfang der Dienstbarkeit entnehmen lassen, so dass gemäss <ref-law> der Erwerbsgrund zu befragen ist.
Das Kantonsgericht hat insoweit zutreffend erwogen (was die Beschwerdeführer zudem nicht bestreiten), dass sich aus dem Grundbucheintrag (<ref-law>) keine Einzelheiten zum Inhalt und Umfang der Dienstbarkeit entnehmen lassen, so dass gemäss <ref-law> der Erwerbsgrund zu befragen ist.
4.2 4.2.1 Im Dienstbarkeitsvertrag vom 8. Mai 1957 räumten sich die ursprünglichen Vertragsparteien "gegenseitig zwischen den beiden Häusern, soweit die Grenzlinie GBNr. 432 [heute Nr. 61] B._ verläuft, das Fuss- und Fahrwegrecht mit allen Fahrzeugen ein".
4.2.2 In der vorliegenden Streitigkeit um den Umfang des Wegrechts stehen sich unbestrittenermassen nicht mehr die ursprünglichen Vertragsparteien gegenüber.
Sowohl das Bezirksgericht wie implizit auch das Kantonsgericht haben anhand der Fotografien des Beschwerdegegners vom April 1980 (Klagebeilagen 37 und 38) festgestellt, dass die strittige Fläche zwischen den beiden Häusern jedenfalls ab dem Jahr 1980 asphaltiert war und dieser Strassenbelag auf dem Grundstück der Beschwerdeführer durch einen Randstein (in Form von Pflastersteinen) abgegrenzt war und auch heute noch ist. Gegen diese Tatsachenfeststellungen erheben die Beschwerdeführer keine Rügen.
4.2.3 Der Beschwerdeführer 1 hat das Grundstück Nr. 61 am 25. März 1980 erworben (vgl. im Übrigen auch seinen "Antrag auf Bereinigung und Zusammenlegung" seiner damaligen Grundstücke Nr. 61 und 62 zum vergrösserten Grundstück Nr. 61 vom 30. August 1983, wo er ausdrücklich auch das fragliche Wegrecht - das damals wie erwähnt bereits asphaltiert und mit einem Randstein versehen war - aufführt). Am 28. September 2006 bildete er Miteigentumsanteile und gestaltete diese als Stockwerkeigentum aus. Die Beschwerdeführer 2 und 3 erwarben in der Folge Stockwerkeigentumsanteile.
4.3 Steht damit fest, dass die bauliche Anlage (asphaltierte Strasse mit einem Randstein aus Pflastersteinen auf der Seite des Grundstücks der Beschwerdeführer) im Zeitpunkt des Dritterwerbs durch die Beschwerdeführer bereits bestand, müssen sie sich diese für jedermann sichtbaren örtlichen Begebenheiten (asphaltierter Weg mit Randstein als bauliche Anlage) entgegenhalten lassen. Der Inhalt und Umfang des Wegrechts bestimmt sich damit gegenüber den Beschwerdeführern aufgrund des asphaltierten Weges.
4.4 Soweit sie einwenden, es sei einzig der ursprüngliche Zustand zur Zeit der Begründung der Dienstbarkeit im Jahr 1957 massgebend und damals sei die Wegrechtsfläche nur gekiest gewesen und es habe keine bauliche Anlage bestanden, verkennen sie, dass für die Frage der Gutgläubigkeit der Dritterwerber auf die Verhältnisse zur Zeit ihres Erwerbs abzustellen ist (Urteil 5C.232/2003 vom 2. März 2004 E. 2.1 und 4.1, nicht publ. in: <ref-ruling>, aber in: ZBGR 86/2005 S. 41 ff.).
4.5 Was die Breite betrifft, erstreckt sich damit das Wegrecht aufgrund der baulichen Anlage - jedenfalls gegenüber den Beschwerdeführern - von der Fassadengrenze des Hauses des Beschwerdegegners auf dem Grundstück Nr. 60 bis zum Randstein auf dem Grundstück Nr. 61 der Beschwerdeführer. Auf welcher Länge das Wegrecht verläuft, braucht nicht weiter thematisiert zu werden, da die asphaltierte Fläche mit dem Randstein jedenfalls weiter nach Osten reicht als der Steg und damit die fragliche Fläche von 0.75 m2 auch mit Blick auf die Länge auf die Dienstbarkeitsfläche zu liegen kommt.
Im Ergebnis (<ref-ruling> E. 4.2 S. 452) ist damit der kantonsgerichtliche Schluss, das Wegrecht erstrecke sich in der Breite auf der Seite der Beschwerdeführer bis zum Randstein, nicht zu beanstanden. Die fragliche Fläche von 0.75 m2 des Stegs der Beschwerdeführer befindet sich auf der Dienstbarkeitsfläche.
5. 5.1 <ref-law> verdeutlicht den Grundgedanken, wonach der belastete Grundeigentümer nicht hindern darf, was der Grunddienstbarkeitsberechtigte zu tun befugt ist. Währenddem der Berechtigte verpflichtet ist, sein Recht in möglichst schonender Weise auszuüben (<ref-law>; Grundsatz "servitus civiliter exercenda"; <ref-ruling> E. 4 S. 153), darf der Belastete nichts vornehmen, was die Ausübung der Dienstbarkeit verhindert oder erschwert (<ref-law>).
5.2 Das Kantonsgericht gelangte zum Schluss, die fragliche Fläche von 0.75 m2 behindere die Ausübung der Dienstbarkeit mit gängigen Lastwagen stark beziehungsweise es sei deren Ausübung ohne erhebliche Einschränkung nicht mehr möglich. Diese rechtliche Folgerung schloss es insbesondere aufgrund der Klagebeilagen 45 und 46. Diese zeigen einen Lastwagen, der den Weg zwischen den Häusern passiert.
5.3 Die Beschwerdeführer rügen insoweit eine willkürliche Sachverhaltsfeststellung (<ref-law>). Das Befahren des Weges sei auch mit heute gängigen Lastwagen noch möglich. Die verfügbare Fahrwegbreite betrage vier Meter und sei damit ausreichend für das Passieren mit gängigen Lastwagen. Die Würdigung der Fotografien in der Klagebeilage 45 und 46 erweise sich als willkürlich, da der dort abgebildete Lastwagen die Wegfläche gar nicht befahre, sondern sich in einem Wendemanöver befinde (der LKW sei am "Rangieren", um eine Mulde abzuladen).
5.4 Das Prinzip "servitus civiliter exercenda" bedeutet als Konkretisierung von <ref-law>, dass der Berechtigte auf eine den Belasteten beeinträchtigende Rechtsausübung verzichten muss, soweit diese Rechtsausübung unnütz ist oder sein Interesse daran jedenfalls in einem krassen Missverhältnis zum Interesse des Belasteten an der Unterlassung der Beeinträchtigung steht (<ref-ruling> E. 4a S. 197). Mit Blick auf <ref-law> folgt aus diesem Grundsatz spiegelbildlich, dass der Belastete dem Berechtigten in gewisser Hinsicht Beschränkungen auferlegen kann, solange dadurch die Ausübung der Dienstbarkeit nicht merklich beeinträchtigt wird (STEINAUER, Les droits réels, Bd. II, 3. Aufl. 2002, N. 2287).
5.5 Durch den Grundsatz "servitus civiliter exercenda" wird nicht der Umfang oder Inhalt der Dienstbarkeit eingeschränkt, sondern lediglich deren missbräuchliche Ausübung untersagt (<ref-ruling> E. 4 S. 153; Urteil 5C.232/2003 vom 2. März 2004 E. 5.3, nicht publ. in: <ref-ruling>, aber in: ZBGR 86/2005 S. 48 f.; 5A_833/2009 vom 11. März 2010 E. 4.3.1; 5A_617/2009 vom 26. Januar 2010 E. 2.3; a.A. und mit Hinweis auf die unterschiedlichen Lehrmeinungen ESCHMANN, a.a.O., S. 12 f.). Mit anderen Worten darf das Gebot der schonenden Ausübung (beziehungsweise der Duldung vernachlässigbarer Beeinträchtigungen) nicht zu einer inhaltlichen Verengung des Dienstbarkeitsrechts führen. Wer die Beseitigung von Bauten verlangt, welche die Dienstbarkeit verletzen, handelt nicht wider Treu und Glauben (STEINAUER, a.a.O., N. 2281a; LEEMANN, Berner Kommentar, 1925, N. 6 zu <ref-law>).
Wenn der Beschwerdegegner vorliegend gestützt auf <ref-law> die Beseitigung eines Teils des Stegs der Beschwerdeführer (auf einer Fläche von 0.75 m2, die in die Dienstbarkeitsfläche hineinragt und damit deren Inhalt verletzt) verlangt, handelt er deshalb nicht treuwidrig, zumal er sich dem Ausbauprojekt der Beschwerdeführer von Anfang an widersetzt hat (<ref-ruling> E. 2 und 3 S. 204 ff.; Urteil 5C.307/2005 vom 19. Mai 2006 E. 7.2 f. mit Hinweisen, in: ZBGR 88/2007 S. 134).
Die Beschwerdeführer sind damit verpflichtet, die mit der Dienstbarkeit unvereinbare Baute zu beseitigen (vgl. <ref-ruling> E. 2 S. 204 f.). Das kantonsgerichtliche Urteil ist im Ergebnis nicht zu beanstanden.
5.6 Stellt sich die Frage nach der Missbräuchlichkeit der Ausübung gemäss <ref-law> gar nicht, erübrigen sich weitere Bemerkungen zu den von den Beschwerdeführern gerügten Sachverhaltsfeststellungen, die dieser Rechtsfrage zugrunde liegen würden. Damit kann ebenfalls offenbleiben, inwieweit die Vorbringen der Beschwerdeführer neue Tatsachen gemäss <ref-law> enthalten.
6. Aus den dargelegten Gründen muss die Beschwerde abgewiesen werden. Die Beschwerdeführer werden unter solidarischer Haftung kosten- und entschädigungspflichtig (Art. 66 und 68 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 3'000.-- werden den Beschwerdeführern unter solidarischer Haftung auferlegt.
3. Die Beschwerdeführer haben den Beschwerdegegner für das bundesgerichtliche Verfahren mit insgesamt Fr. 900.-- unter solidarischer Haftung zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht des Kantons Schwyz, Zivilkammer, schriftlich mitgeteilt.
Lausanne, 4. März 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Bettler