Sachverhalt: A. B._ und A.X._ (Beklagte; Beschwerdeführer) sind Eigentümer einer Liegenschaft in C._/GR; sie sind indes in D._/SZ domiziliert. Im Jahre 2005 betrauten sie den Architekten Y._ (Kläger, Beschwerdegegner) mit der Sanierung des Altbaus auf ihrem Grundstück in C._. A.a Der Kläger führte verschiedene Architekturleistungen aus und zog Unternehmer bei, die Anfang November 2005 mit der Ausführung von Bauarbeiten auf der Liegenschaft der Beklagten begannen. Am 13. November 2005 wiesen die Beklagten den Kläger an, die Bauarbeiten einzustellen. Sie beendeten mit Schreiben vom 20. Januar 2006 die Zusammenarbeit mit dem Kläger, worauf dieser am 31. Januar 2006 seine Schlussrechnung stellte, welche die Beklagten bestritten. A.b Der Kläger meldete am 28. März 2006 beim Kreisamt Bergün seine Forderung gegen die Beklagten zur Vermittlung an; nach erfolglosem Sühneversuch gelangte er am 29. Mai 2006 an das Bezirksgericht Albula mit dem Rechtsbegehren, die Beklagten seien zur Bezahlung von Fr. 52'414.65 zuzüglich 5 % Zins seit 25. Januar 2006 zu verurteilen. Die Beklagten bestritten in der Antwort die örtliche Zuständigkeit des Bezirksgerichts Albula, worauf der Bezirksgerichtspräsident das Verfahren auf die Frage der Zuständigkeit beschränkte. A.c Am 2. November 2006 erklärte sich das Bezirksgericht Albula gestützt auf Art. 19 Abs. 1 lit. c des Bundesgesetzes vom 24. März 2000 über den Gerichtsstand in Zivilsachen (Gerichtsstandsgesetz, GestG; SR 272) für die Beurteilung der Streitsache als örtlich zuständig. Zur Begründung führte das Gericht aus, die behaupteten Leistungen wiesen einen Bezug von einer gewissen Intensität zum Grundstück der Beklagten auf. B. Mit Urteil vom 7. März 2007 wies das Kantonsgericht von Graubünden, Kantonsgerichtsausschuss, die Beschwerde der Beklagten gegen den Entscheid des Bezirksgerichts Albula vom 2. November 2006 ab. Es bejahte für die Honorarforderung des Architekten den Gerichtsstand am Ort der gelegenen Sache, da sich die Leistungen nicht auf Planarbeiten beschränkt, sondern die Sanierung eines bestehenden Hauses betroffen hätten, die einer näheren Auseinandersetzung mit dem Grundstück bzw. dem darauf erstellten Haus bedurft habe. C. Gegen das Urteil des Kantonsgerichtsausschusses reichten die Beschwerdeführer am 27. April 2007 beim Bundesgericht zivilrechtliche Beschwerde ein. Sie beantragen, der angefochtene Entscheid sei aufzuheben und es sei festzustellen, dass für die streitige Forderung im Gerichtsbezirk Albula kein Gerichtsstand bestehe. Im Übrigen sei die Sache zur Neubeurteilung der Kosten und Entschädigung an die Vorinstanz zurückzuweisen. Sie rügen eine falsche Anwendung von Art. 19 Abs. 1 lit. c GestG und eine Verletzung der Garantie des Wohnsitzgerichtsstandes (Art. 30 Abs. 2 BV). Das Kantonsgericht Graubünden und der Beschwerdegegner beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei.