Sachverhalt: A. A.a X._, Y._ und Z._ (nachfolgend Beschwerdeführer) sind Stockwerkeigentümer des Grundstücks Nr. 61 (zuvor Nr. 432) auf dem Gebiet der Gemeinde V._. In südlicher Richtung daran angrenzend befindet sich das im Eigentum von W._ (nachfolgend Beschwerdegegner) stehende Grundstück Nr. 60 (zuvor Nr. 629). An der jeweils westlichen Grenze der beiden Grundstücke verläuft die öffentliche Strasse. A.b Mit Grunddienstbarkeitsvertrag vom 8. Mai 1957 räumten sich die damaligen Eigentümer A._ (Grundstück Nr. 60) und B._ (Grundstück Nr. 61) "gegenseitig zwischen den beiden Häusern, soweit die Grenzlinie GBNr. 432 [heute Nr. 61] B._ verläuft, das Fuss- und Fahrwegrecht mit allen Fahrzeugen ein" (Hervorhebung im Original). Entsprechend wurde diese Dienstbarkeit im Grundbuch mit dem Wortlaut "Fuss- und Fahrwegrecht mit allen Fahrzeugen" (nachfolgend als "Wegrecht" bezeichnet) sowohl als Recht und Last gegenseitig auf den Grundstücken Nr. 60 und 61 eingetragen. Dieser Weg befindet sich auf der Fläche zwischen der südlichen Hausfassade auf Grundstück Nr. 61 und der nördlichen Hausfassade auf Grundstück Nr. 60 und dient auf der westlichen Seite dem Zugang zur öffentlichen Strasse. A.c Am 7. Februar 2006 reichten die Beschwerdeführer ein Baugesuch für einen Erweiterungsbau ein. Der Gemeinderat erteilte ihnen am 3. Juli 2006 die Baubewilligung und wies darin die vom Beschwerdegegner erhobene Einsprache ab. In der Folge tätigten die Beschwerdeführer den bewilligten Erweiterungsbau. Insbesondere errichteten sie auf der südlichen Seite ihres Hauses auf dem Grundstück Nr. 61 einen Steg, der von der öffentlichen Strasse entlang der Südseite zum neuen Hauseingang auf der Ost- beziehungsweise Hinterseite des Gebäudes führt. Aufgrund des gegen Osten herabfallenden Terrains ist dieser Zugang (der sich im Bereich der öffentlichen Strasse noch auf dem gleichen Niveau wie diese befindet) zur Hinterseite gegenüber der Fläche zwischen den beiden Häusern der Parteien je länger je mehr erhöht. Im hinteren Bereich (Ecke zwischen der Süd- und Ostfront) überragt der Steg die Fläche zwischen den beiden Häusern. A.d Mit Klage vom 7. September 2007 (Vermittlungsbegehren vom 15. Mai 2007) verlangte der Beschwerdegegner, die Beschwerdeführer seien zu verpflichten, sämtliche Bauteile auf ihrem Grundstück Nr. 61, die in eine (mit Koordinaten bestimmte) Fläche von 0.75 m2 "hineinragen und das Strassenterrain überragen", zu entfernen, da sie damit das vereinbarte Wegrecht verletzten. Mit Urteil vom 8. Juni 2009 wies das Bezirksgericht C._ die Klage ab. Da weder der Grundbucheintrag noch der Dienstbarkeitsvertrag oder die Ausübung Rückschlüsse auf die Breite des Wegrechts zuliessen, bestimmte es dessen Breite gestützt auf kantonales Recht auf 2.7 Meter. Es kam zum Schluss, dass der fragliche Anbau der Beschwerdeführer mit einer Fläche von 0.75 m2 das Wegrecht nicht beeinträchtige. B. Auf Berufung des Beschwerdegegners hiess das Kantonsgericht Schwyz die Klage mit Urteil vom 19. Mai 2010 gut und verpflichtete die Beschwerdeführer, sämtliche Bauteile auf ihrem Grundstück Nr. 61, die in die (mittels Punkten auf dem Katasterplan bestimmte) Fläche hineinragen und die Strassenlinie überragen, ersatzlos und auf eigene Kosten, unter solidarischer Haftung, zu entfernen. Es bejahte im Umfang dieser Fläche eine Verletzung der Dienstbarkeit. C.a Dem Bundesgericht beantragen die Beschwerdeführer in ihrer Beschwerde in Zivilsachen vom 14. September 2010 die Aufhebung des kantonsgerichtlichen Urteils im Umfang der Gutheissung der Berufung und sinngemäss die Abweisung der Klage des Beschwerdegegners. Zudem verlangen sie antragsgemäss die Neuverlegung der kantonalen Kosten und ersuchen um aufschiebende Wirkung. Der Beschwerdegegner hat sich dem Gesuch um aufschiebende Wirkung nicht widersetzt. Das Kantonsgericht hat sich dazu nicht vernehmen lassen. Mit Verfügung vom 28. September 2010 hat das präsidierende Mitglied der II. zivilrechtlichen Abteilung der Beschwerde die aufschiebende Wirkung zuerkannt. C.b In der Sache schliessen sowohl das Kantonsgericht (Vernehmlassung vom 2. Dezember 2010) als auch der Beschwerdegegner (Vernehmlassung vom 10. Dezember 2010) auf Abweisung der Beschwerde, soweit darauf einzutreten sei.