Sachverhalt:
A. A.a Mit Verfügung vom 28. April 2010 wies das Kantonsgericht von Graubünden G._ (Beschwerdeführer 1) und H._ (Beschwerdeführerin 2) per 30. Juni 2010 aus einer Wohnung an der X._strasse in Y._ aus. Eigentümerin dieser Wohnung ist K._ (Beschwerdegegnerin), die Schwester des Beschwerdeführers 1. Auf die von den Beschwerdeführern gegen die Verfügung vom 28. April 2010 erhobene subsidiäre Verfassungsbeschwerde trat das Bundesgericht mit Entscheid vom 6. September 2010 nicht ein (Verfahren 4D_82/2010).
A.b Da die Beschwerdeführer sich weigerten, die Wohnung zu räumen, ersuchte die Beschwerdegegnerin den Kreispräsidenten Davos um Vollzug der Verfügung vom 28. April 2010. Dieser setzte darauf einen neuen Räumungstermin auf den 22. Oktober 2010 an, unter Androhung der Straffolgen gemäss <ref-law> und der Ersatzvornahme auf Kosten der Beschwerdeführer bei Nichtbefolgung.
A.c Die Beschwerdeführer kamen auch dieser Aufforderung nicht nach. Der Wohnungsübergabe und der Beweisaufnahme über den Zustand der Wohnung am 22. Oktober 2010 blieben die Beschwerdeführer fern. Die Wohnung wurde verschlossen vorgefunden und musste aufgebrochen werden. Der Kreispräsident Davos verfügte gleichentags u.a., dass die Ausweisungsverfügung vom 28. April 2010 vollzogen und der Wohnungsschlüssel beim Kreisamt hinterlegt worden sei. Die Kosten für die Ersatzvornahme wurden den Beschwerdeführern auferlegt. Diese Verfügung blieb unangefochten.
A.d Am 6. Januar 2011 reichte die Beschwerdegegnerin gegen die Beschwerdeführer Strafanzeige ein, da sich diese am Vortag offenbar unter Vorgabe, den Wohnungsschlüssel verloren zu haben, mit Hilfe eines Handwerkers erneut Zutritt zur Wohnung verschafft hatten.
A.e Am 7. Januar 2011 wies der Präsident des Bezirksgerichts Prättigau/Davos die Kantonspolizei Graubünden an, die Beschwerdeführer seien umgehend aus der Wohnung der Beschwerdegegnerin auszuweisen, da diese aufgrund der rechtskräftigen Ausweisungsverfügung vom 28. April 2010 nicht mehr berechtigt seien, sich darin aufzuhalten. Die Beschwerdeführer wurden daraufhin am 8. Januar 2011 gegen 15.00 Uhr polizeilich aus der Wohnung ausgewiesen.
B. Am 18. Januar 2011 erhoben die Beschwerdeführer beim Kantonsgericht von Graubünden Beschwerde und beantragten die Aufhebung der Verfügung des Bezirksgerichts Prättigau/Davos vom 7. Januar 2011. Sie beantragten zudem, es sei von weiteren Zwangseinwirkungen durch die Polizei abzusehen, solange nicht eine einschlägige Vollstreckungsverfügung in einem korrekten Verfahren angeordnet worden sei. Ausserdem sei der zwangsweise konfiszierte Wohnungsschlüssel den Beschwerdeführern zurückzugeben.
Mit Urteil vom 11. März 2011 wies das Kantonsgericht von Graubünden die Beschwerde mit der Begründung ab, diese sei offensichtlich rechtsmissbräuchlich und damit unzulässig. Die Beschwerdeführer hätten wiederholt erkennen lassen, dass sie rechtskräftige höchstrichterliche Urteile missachteten, und hätten sich trotz rechtskräftiger Ausweisungsverfügung wieder unberechtigt Zutritt zur Wohnung der Beschwerdegegnerin verschafft. Für ihr rechtsmissbräuchliches Verhalten würden die Beschwerdeführer keinen Rechtsschutz verdienen. Die Rügen der Beschwerdeführer in der Sache wurden nicht behandelt.
C. Mit Beschwerde in Zivilsachen und subsidiärer Verfassungsbeschwerde vom 23. August 2011 beantragen die Beschwerdeführer dem Bundesgericht, es sei das Urteil vom 11. März 2011 aufzuheben. Im Übrigen wiederholen sie die vor Kantonsgericht gestellten Rechtsbegehren.
Die Beschwerdegegnerin beantragt, auf die Beschwerde sei nicht einzutreten, eventualiter sei sie abzuweisen. Die Vorinstanz beantragt die Abweisung der Beschwerde, soweit darauf einzutreten ist.

Erwägungen:
1. Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob ein Rechtsmittel zulässig ist (<ref-ruling> E. 1; <ref-ruling> E. 1, 101 E. 1).
1.1 Die Beschwerdeführer richten sich mit ihrer Beschwerde gegen das Urteil des Kantonsgerichts von Graubünden vom 11. März 2011, mit welchem ihre Beschwerde als rechtsmissbräuchlich qualifiziert und als unzulässig abgewiesen worden war. Soweit sich die Rügen gegen die Verpflichtung zur Räumung der Wohnung an sich und gegen die Tatsache richten, dass die Beschwerdeführer keinen Zutritt mehr zur Wohnung haben, verkennen diese, dass sowohl die Ausweisungsverfügung vom 28. April 2010 als auch die Verfügung des Kreispräsidenten Davos vom 22. Oktober 2010 über den Vollzug der Ausweisungsverfügung und die Hinterlegung des Wohnungsschlüssels rechtskräftig sind. Darauf ist nicht einzutreten.
1.2 Zur Beschwerde in Zivilsachen ist nur berechtigt, wer durch den angefochtenen Entscheid besonders berührt ist und ein schutzwürdiges, mithin ein aktuelles und praktisches Interesse an dessen Aufhebung oder Änderung hat (<ref-law>). Auf das Erfordernis des aktuellen praktischen Interesses verzichtet das Bundesgericht ausnahmsweise, wenn sich die aufgeworfenen Fragen jederzeit unter gleichen oder ähnlichen Umständen wieder stellen können, an deren Beantwortung wegen ihrer grundsätzlichen Bedeutung ein hinreichendes öffentliches Interesse besteht und eine rechtzeitige Überprüfung im Einzelfall kaum je möglich wäre (<ref-ruling> E. 2.2; <ref-ruling> E. 2.2 S. 434; <ref-ruling> E. 1.1).
1.3 Nach dem festgestellten Sachverhalt wies der Präsident des Bezirksgerichts Prättigau/Davos am 7. Januar 2011 die Kantonspolizei Graubünden an, die Beschwerdeführer seien umgehend aus der Wohnung der Beschwerdegegnerin auszuweisen, zu welcher sie sich wiederum unberechtigt Zutritt verschafft hatten. Diese Anweisung wurde am darauffolgenden Tag vollzogen. Die Beschwerdeführer haben demnach kein aktuelles Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids (vgl. auch Urteil 4A_352/2011 vom 5. August 2011 E. 1). Dass es vorliegend um die Beurteilung einer Frage von präjudizieller Tragweite gehen würde und auf das Vorliegen eines aktuellen Interesses verzichtet werden könnte, wird nicht geltend gemacht und ist auch nicht ersichtlich. Es fehlt den Beschwerdeführern daher die Beschwerdelegitimation i.S.v. <ref-law>. Auf die Beschwerde in Zivilsachen ist nicht einzutreten.
1.4 Ein aktuelles und praktisches Interesse ist auch für die Erhebung der subsidiären Verfassungsbeschwerde erforderlich (<ref-law>; vgl. Urteile 2C_423/2011 vom 12. Oktober 2011 E. 2; 2D_35/2010 vom 24. September 2010 E. 2.3; 5D_27/2008 vom 18. November 2008 E. 3.1). Mangels aktuellen Interesses kann somit auch darauf nicht eingetreten werden.
2. Nach dem Gesagten ist weder auf die Beschwerde in Zivilsachen noch auf die subsidiäre Verfassungsbeschwerde einzutreten. Mit dem Entscheid in der Sache wird das sinngemässe Gesuch um Anordnung vorsorglicher Massnahmen gegenstandslos. Bei diesem Verfahrensausgang werden die Beschwerdeführer unter solidarischer Haftbarkeit kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und 5 sowie Art. 68 Abs. 2 und 4 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde in Zivilsachen und auf die subsidiäre Verfassungsbeschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden den Beschwerdeführern (unter solidarischer Haftbarkeit und intern zu gleichen Teilen) auferlegt.
3. Die Beschwerdeführer haben die Beschwerdegegnerin für das bundesgerichtliche Verfahren (unter solidarischer Haftbarkeit und intern zu gleichen Teilen) mit Fr. 2'500.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Kantonsgericht von Graubünden, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 23. Januar 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Die Gerichtsschreiberin: Schreier