Sachverhalt:
A. Mit öffentlich beurkundetem Kaufvertrag vom 23. Dezember 1981 erwarb Z._ (Beschwerdegegnerin) von der A._ AG die 3-Zimmerwohnung Nr. 7 an der B._strasse in Davos Platz. Am 1. Juni 1982 erfolgte der Eintrag im Grundbuch der Gemeinde Davos. Die Wohnung wurde vorwiegend von der Mutter der Beschwerdegegnerin bewohnt. Nach deren Tod im Jahre 2006 überliess die Beschwerdegegnerin die Wohnung ihrem Bruder X._ (Beschwerdeführer 1) und dessen Lebenspartnerin Y._ (Beschwerdeführerin 2) leihweise zum unentgeltlichen Gebrauch während der Ferien.
In der Absicht, die Wohnung zu verkaufen, forderte die Beschwerdegegnerin die Beschwerdeführer mit Schreiben vom 11. Januar und 12. Februar 2008 auf, die Wohnung bis spätestens am 30. September 2008 zu verlassen. Am 12. Juni 2009 wiederholte sie die Aufforderung und verlangte von den Beschwerdeführern, ihr die Wohnung bis am 30. September 2009 zu übergeben.
B. Mit Amtsbefehlsgesuch vom 11. Januar 2010 an den Kreispräsidenten Davos verlangte die Beschwerdegegnerin die Ausweisung der Beschwerdeführer aus der Wohnung innert 20 Tagen. Mit Verfügung vom 4. März 2010 wies der Kreispräsident das Gesuch ab.
C. Die dagegen erhobene Beschwerde hiess der Einzelrichter des Kantonsgerichts von Graubünden mit Verfügung vom 28. April 2010 gut und verurteilte die Beschwerdeführer in Gutheissung des Ausweisungsgesuchs dazu, die Wohnung Nr. 7 an der B._strasse in Davos Platz bis am 30. Juni 2010 zu räumen.
Das Kantonsgericht qualifizierte das Rechtsverhältnis zwischen den Parteien als Gebrauchsleihe im Sinne der <ref-law>. Gestützt auf <ref-law> habe die Beschwerdegegnerin als Verleiherin die Wohnung jederzeit zurückfordern dürfen, was mit den Schreiben vom Januar/Februar 2008 bzw. 12. Juni 2009 geschehen sei. Als im Grundbuch eingetragene Eigentümerin der Wohnung sei die Beschwerdeführerin selbständige Besitzerin im Sinne der <ref-law>, zumal sie die Wohnung nach dem Erwerb auch wirklich in Besitz genommen habe. Zur Durchsetzung des Herausgabeanspruchs stehe ihr daher das Amtsbefehlsverfahren nach den Art. 145 ff. der Zivilprozessordnung des Kantons Graubünden (ZPO/GR) zur Verfügung, denn bei der Rückforderung einer gestützt auf Gebrauchsleihe überlassenen Wohnung handle es sich um einen Anwendungsfall einer Wiedererlangung vorenthaltenen Besitzes gemäss <ref-law>/GR.
D. Mit subsidiärer Verfassungsbeschwerde vom 2. Juli 2010 beantragen die Beschwerdeführer dem Bundesgericht, es sei die Verfügung des Einzelrichters des Kantonsgerichts von Graubünden aufzuheben und das Ausweisungsgesuch abzuweisen. Weiter sei der Beschwerde die aufschiebende Wirkung zu erteilen.
Die Beschwerdegegnerin schliesst in ihrer Vernehmlassung auf Abweisung der Beschwerde. Das Kantonsgericht schliesst ebenfalls auf Abweisung, soweit auf die Beschwerde einzutreten sei.
Mit Präsidialverfügung vom 6. Juli 2010 wurde der Beschwerde superprovisorisch die aufschiebende Wirkung erteilt.

Erwägungen:
1. Mit dem vorliegenden Entscheid in der Sache wird das Gesuch um aufschiebende Wirkung gegenstandslos.
2. 2.1 Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer Zivilsache (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG). Mangels Erreichens des erforderlichen Streitwertes (<ref-law>) ist die Beschwerde in Zivilsachen nicht zulässig, dafür aber die subsidiäre Verfassungsbeschwerde (<ref-law>).
2.2 Mit der subsidiären Verfassungsbeschwerde kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (<ref-law>). Hierfür gilt das strenge Rügeprinzip (Art. 106 Abs. 2 i.V.m. <ref-law>). Das bedeutet, dass das Bundesgericht nur klar und detailliert erhobene und soweit möglich belegte Rügen prüft (<ref-ruling> E. 1.4.2 S. 254), während es auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid nicht eintritt (vgl. <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.3 S. 261).
2.3 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>); es kann davon nur abweichen, wenn die Sachverhaltsfeststellung unter Verletzung eines verfassungsmässigen Rechts zustande kam (Art. 118 Abs. 2 und <ref-law>), was die beschwerdeführende Partei präzise geltend zu machen hat (Art. 117 i.V.m. <ref-law>; <ref-ruling> E. 3.2 S. 445 mit Hinweis).
Diesen Grundsatz verkennen die Beschwerdeführer, wenn sie den Sachverhalt über drei Seiten aus ihrer eigenen Sicht schildern, ohne dabei substanziierte Sachverhaltsrügen zu erheben. Die entsprechenden Ausführungen sind für das Bundesgericht unbeachtlich.
3. Die Beschwerdeführer haben am 20. April 2010, also während des hängigen Amtsbefehlsverfahrens vor der Vorinstanz, beim Bezirksgericht Prättigau eine Klage auf "Rückforderung" des Eigentums an der umstrittenen Wohnung eingereicht. Darin behaupten sie, die Beschwerdegegnerin habe die Wohnung lediglich fiduziarisch für ihre in der Zwischenzeit verstorbenen Eltern erworben und habe sie nunmehr an die Erbengemeinschaft herauszugeben. Vor Bundesgericht machen die Beschwerdeführer geltend, dass das Amtsbefehlsverfahren nach Einreichen dieser Klage hätte eingestellt werden müssen. Da es in beiden Verfahren um das Recht auf Gebrauch der Wohnung gehe, komme das Amtsbefehlsverfahren dem ordentlichen Verfahren "in die Quere"; es sei "überflüssig" und "störe" das ordentliche Verfahren.
3.1 Mit dieser Kritik werfen die Beschwerdeführer der Vorinstanz eine unrichtige Anwendung des kantonalen Zivilprozessrechts vor. Darauf ist nur einzutreten, soweit eine Willkürrüge (<ref-law>) vorgebracht wird.
Wird eine willkürliche Anwendung von kantonalem Recht gerügt, ist zu beachten, dass es nicht genügt, wenn die beschwerdeführende Partei einfach behauptet, der angefochtene Entscheid sei willkürlich. Bei der Rechtsanwendungsrüge hat sie vielmehr die Rechtsnorm, die qualifiziert unrichtig bzw. nicht angewandt worden sein soll, zu bezeichnen und anhand der angefochtenen Subsumtion im Einzelnen zu zeigen, inwiefern der Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem und offensichtlichem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (vgl. <ref-ruling> E. 3 S. 352; <ref-ruling> E. 5.1 S. 18). Willkür liegt nicht schon vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür sodann nur auf, wenn dieser nicht nur in der Begründung, sondern auch im Ergebnis offensichtlich unhaltbar ist (<ref-ruling> E. 2.1 S. 211; <ref-ruling> E. 2.1 S. 219).
3.2 In Erwägung 6 des angefochtenen Entscheids begründet die Vorinstanz ausführlich, weshalb das Amtsbefehlsverfahren trotz Eröffnung eines ordentlichen Verfahrens durch die Beschwerdeführer weiterzuführen ist. Auf diese Ausführungen gehen die Beschwerdeführer nur punktuell ein. Sie rügen lediglich die vorinstanzliche "Feststellung" als willkürlich, wonach gemäss <ref-law>/GR nur die Anordnung von vorsorglichen Massnahmen in die Kompetenz des im ordentlichen Verfahren urteilenden Bezirksgerichtspräsidenten falle. Auf die weiteren Ausführungen der Vorinstanz, wonach es bei der Wiedererlangung vorenthaltenen Besitzes gerade nicht um vorsorgliche Massnahmen (i.S. des <ref-law>/GR), sondern um die selbständige Durchsetzung eines materiellen Anspruches und damit um einen Anwendungsfall des Amtsbefehlsverfahrens gemäss <ref-law>/GR gehe, setzen sich die Beschwerdeführer hingegen mit keinem Wort auseinander. Mit ihren Ausführungen zur Rechtsnatur der Eigentumsklage gehen sie jedenfalls an der Sache vorbei und zeigen nicht in einer den strengen Begründungsanforderungen gemäss <ref-law> genügenden Weise auf, inwiefern Art. 52 Abs. 2 geschweige denn <ref-law>/GR qualifiziert falsch angewendet worden wäre bzw. das Amtsbefehlsverfahren gestützt darauf hätte eingestellt werden müssen.
3.3 Die Beschwerdeführer machen weiter geltend, die Ansprüche rund um die Stockwerkeigentumswohnung seien "alles andere als klar und unzweifelhaft". Die Annahme der Vorinstanz, wonach durch nichts belegt sei, dass der Beschwerdeführer 1 die Wohnung infolge Erbschaft zu Gesamteigentum erworben habe, sei aktenwidrig und willkürlich. Deshalb dürfe das für die Durchsetzung von klaren und unzweifelhaften Ansprüchen vorgesehene Amtsbefehlsverfahren nicht zur Anwendung kommen.
Zur Begründung dieser Rüge verweisen die Beschwerdeführer auf einen Leitschein vom 12. April 2010, einen vom Amtsgericht Schöneberg (D) ausgestellten gemeinschaftlichen Erbschein vom 11. Dezember 2009, eine von der Beschwerdegegnerin ausgestellte Vollmacht vom 15. September 1995 sowie die Prozesseingabe an das Bezirksgericht Prättigau vom 4. Mai 2010. Inwiefern diese Dokumente geeignet sein sollten, eine angebliche fiduziarische Berechtigung des Beschwerdeführers 1 an der Wohnung zu belegen, zeigen die Beschwerdeführer freilich mit keinem Wort auf und ist auch nicht nachvollziehbar. Auch auf diese ungenügend begründete Rüge ist nicht einzutreten.
4. Die Beschwerdeführer werfen der Vorinstanz sodann eine Verletzung ihres Anspruchs auf ein durch Gesetz geschaffenes zuständiges Gericht gemäss <ref-law> vor.
4.1 <ref-law> garantiert den Anspruch auf ein durch Gesetz geschaffenes, zuständiges, unabhängiges und unparteiisches Gericht. Das Gericht und seine Zuständigkeit müssen durch generell-abstraktes Verfahrensrecht im Voraus bestimmt sein (<ref-ruling> E. 3.3 S. 133 mit Hinweisen).
4.2 Die Beschwerdeführer begründen ihre Rüge damit, dass das Amtsbefehlsverfahren in das ordentliche Verfahren "hineinwirke" bzw. dieses "beeinträchtige". Aus ihren Ausführungen lässt sich jedoch nicht nachvollziehen, inwiefern sich diese "Beeinträchtigung" so ausgewirkt haben soll, dass ihnen der Anspruch auf ein zuständiges Gericht vereitelt worden wäre. Vielmehr machen sie erneut geltend, dass der Befehlsrichter nicht zur Beurteilung des Herausgabeanspruchs zuständig sei, ohne sich mit den einschlägigen Ausführungen der Vorinstanz in Erwägung 6 des angefochtenen Entscheids detailliert auseinander zu setzen bzw. anhand der Bestimmungen der Bündner Zivilprozessordnung präzise darzulegen, weshalb der Befehlsrichter nicht zuständig sein soll. Auch diese Rüge genügt den Begründungsanforderungen des <ref-law> nicht.
5. Nach dem Gesagten kann auf die subsidiäre Verfassungsbeschwerde nicht eingetreten werden.
Bei diesem Verfahrensausgang werden die Beschwerdeführer kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern unter solidarischer Haftbarkeit auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren unter solidarischer Haftbarkeit mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, Einzelrichter in Zivilsachen, schriftlich mitgeteilt.
Lausanne, 6. September 2010
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Klett Hurni