Sachverhalt:
A. Gemäss Vertrag vom 6. Mai 2000 vermietete die X._ AG (Vermieterin) eine 4-Zimmerwohnung an der Z._strasse in Q._ an die Ehegatten Y._ (Mieter). Diese waren bei der R._ haftpflichtversichert. In der Folge kündigten die Mieter das Mietverhältnis auf den 31. Juli 2006. Anlässlich der Wohnungsabgabe vom 19. Juli 2006, an welcher auch A._ von der R._ teilnahm, liess die Vermieterin ein Abgabeprotokoll erstellen, in dem diverse Mängel der Wohnung aufgeführt wurden. Die Mieter weigerten sich, das Protokoll zu unterschreiben. In der Folge verlangte die Vermieterin von den Mietern für die Mängelbehebung Fr. 5'933.10. Die Mieter wie auch die R._ verweigerten die Zahlung.
B. Nach erfolglosem Vermittlungsversuch vor der zuständigen Schlichtungsstelle klagte die Vermieterin am 29. November 2007 beim Kantonsgericht von Appenzell Ausserrhoden gegen die Mieter auf Zahlung von Fr. 5'933.10 nebst Zins zu 5 % seit dem 7. September 2007. In ihrer Klageantwort vom 18. Januar 2008 wendeten die Mieter ein, die geltend gemachten Ansprüche seien verwirkt, weil keine Mängelrüge gemäss Art. 267a Abs. 1 OR erfolgt sei. Zudem habe das nicht unterschriebene Protokoll vom 19. Juli 2006 keinerlei Beweisfunktion. Die von der Klägerin erhobene Forderung wird daher nicht nur grundsätzlich, sondern auch in ihrer Höhe ausdrücklich bestritten.
Das Kantonsgericht wies die Klage mit Entscheid vom 9. Juli 2009 ab, im Wesentlichen mit der Begründung, die Vermieterin habe eine rechtzeitige und präzise Mängelrüge nicht nachweisen können und daher den Schadenersatzanspruch verwirkt. Gegen diesen Entscheid appellierte die Vermieterin an das Obergericht von Appenzell Ausserrhoden mit den Anträgen, ihn aufzuheben und die Sache zur Beurteilung der Schadenersatzforderung an die Vorinstanz zurückzuweisen oder eventuell die Klage gutzuheissen. Das Obergericht wies die Appellation mit Entscheid vom 30. März 2010 ab.
Dieses Urteil hob das Bundesgericht am 16. November 2010 in Gutheissung einer dagegen gerichteten Beschwerde der Vermieterin auf und wies die Sache zur Ergänzung des Sachverhalts bezüglich der Mängelanzeige und zu neuer Entscheidung an das Obergericht zurück. Dieses forderte die Parteien mit Schreiben vom 24. Mai 2011 auf, zum Verfahren und zur Sache abschliessend Stellung zu nehmen, worauf die Parteien am 10. Juni 2011 entsprechende Stellungnahmen einreichten. Danach wies das Obergericht mit Entscheid vom 25. August 2011 die Appellation der Beschwerdeführerin erneut ab. Zur Begründung führte es zusammengefasst aus, die Vermieterin habe die aus den behaupteten Mängeln abgeleiteten Schäden zum Teil nicht genügend substanziiert und zum Teil nicht nachweisen können, weshalb offen bleiben könne, ob die Mängel entsprechend den Anforderungen von Art. 267a OR angezeigt worden seien. Die entsprechenden Beweisanträge der Beschwerdeführerin seien daher als unerheblich abzuweisen.
C. Die Vermieterin (Beschwerdeführerin) erhebt subsidiäre Verfassungsbeschwerde mit den Begehren, den Entscheid des Obergerichts vom 25. August 2011 aufzuheben und die Vorinstanz anzuweisen, die Sache zur materiellen Beurteilung der Schadenersatzforderungen an das Kantonsgericht zurückzuweisen oder selbst einen Schriftenwechsel und ein Beweisverfahren zur Beurteilung der geltend gemachten Schadenersatzforderungen durchzuführen.
Das Obergericht verzichtet auf eine Vernehmlassung. Die Mieter (Beschwerdegegner) schliessen auf Abweisung der Beschwerde, soweit darauf eingetreten werden könne.
Erwägungen:
1. 1.1 Der in der vorliegenden mietrechtlichen Streitigkeit erforderliche Streitwert von Fr. 15'000.-- (Art. 74 Abs. 1 lit. a BGG) wird nicht erreicht. Die Beschwerde in Zivilsachen stünde daher nur offen, wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellte (Art. 74 Abs. 2 lit. a BGG) und in der Beschwerde dargelegt würde, weshalb diese Voraussetzung erfüllt ist (Art. 42 Abs. 2 BGG). Da in der Beschwerde entsprechende Ausführungen fehlen, ist die Beschwerde in Zivilsachen ausgeschlossen und daher die subsidiäre Verfassungsbeschwerde zulässig (Art. 113 BGG). Der blosse Rückweisungsantrag genügt, da das Bundesgericht im Falle der Gutheissung der Beschwerde in der Sache nicht selber entscheiden könnte (Art. 107 Abs. 2 BGG; vgl. BGE 135 II 38 E. 1.2 S. 41). Da auch die übrigen Sachurteilsvoraussetzungen gegeben sind, ist grundsätzlich auf die Beschwerde einzutreten.
1.2 Mit der subsidiären Verfassungsbeschwerde kann nur die Verletzung verfassungsmässiger Rechte gerügt werden (Art. 116 BGG). Diese umfassen auch die durch die Kantonsverfassungen gewährleisteten Rechte (vgl. Art. 95 lit. c BGG; BGE 137 I 77 E. 1.3.1 mit Hinweisen).
1.3 Das Bundesgericht prüft die Verletzung verfassungsmässiger Rechte nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 i.V.m. Art. 117 BGG). Es ist klar und detailliert anhand der Erwägungen des angefochtenen Entscheids darzulegen, inwiefern verfassungsmässige Rechte verletzt worden sein sollen. Das Bundesgericht untersucht nicht von sich aus, ob der angefochtene kantonale Entscheid verfassungskonform ist, sondern prüft nur rechtsgenügend vorgebrachte, klar erhobene und belegte Rügen; auf rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (BGE 134 I 83 E. 3.2 S. 88; 133 II 249 E. 1.4.2 S. 254; 133 II 396 E. 3.2 S. 400).
1.4 Wer sich auf eine Verletzung des Willkürverbots (Art. 9 BV) berufen will, kann sich daher nicht darauf beschränken, den vorinstanzlichen Entscheid als willkürlich zu bezeichnen. Vielmehr ist anhand der angefochtenen Subsumtion im Einzelnen darzutun, inwiefern das kantonale Gericht willkürlich entschieden haben soll und der Entscheid an einem qualifizierten und offensichtlichen Mangel leidet (BGE 134 II 244 E. 2.2 S. 246; 117 Ia 10 E. 4b S. 11 f.). Dies ist nach der ständigen Praxis des Bundesgerichts der Fall, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur dann als willkürlich auf, wenn er nicht bloss in der Begründung, sondern auch im Ergebnis unhaltbar ist; dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 134 II 124 E. 4.1 S. 133 mit Hinweisen).
2. 2.1 Die Beschwerdeführerin macht geltend, im vorliegenden Verfahren hätten das Kantonsgericht, das Obergericht und das Bundesgericht zunächst nur den Aspekt der Verwirkung der Forderung [mangels genügender Mängelanzeige] beurteilt. Die Beschwerdegegner hätten sich ebenfalls nur mit der Verwirkungsfrage auseinandergesetzt und die Darlegungen der Beschwerdeführer zum Schaden im gesamten Verfahren nie substanziiert bestritten. Die Beschwerdeführerin habe sich daher nie veranlasst gesehen, weitere Ausführungen zum Schaden zu machen. Das Obergericht habe nach der Rückweisung durch das Bundesgericht ohne Vorankündigung nur die Forderung beurteilt und die Klage ohne Durchführung weiterer Untersuchungen abgewiesen. Damit habe es Art. 20 der Verfassung des Kantons Appenzell Ausserrhoden (KV/AR) verletzt, weil im gesamten Verfahren keine Anhörung zu den schliesslich entscheidrelevanten Tatsachen stattgefunden habe. Auch habe das Obergericht ihren Anspruch auf rechtliches Gehör gemäss Art. 29 Abs. 2 BV verletzt, weil es seine Begründung auf zuvor im Verfahren nicht vorgetragene Rechtsstandpunkte abstütze, mit denen die Beschwerdeführerin nicht habe rechnen müssen. Dies treffe insbesondere auf die Erwägung zu, wonach die Rechnung vom 26. September 2006 als blosse Parteibehauptung zu betrachten sei.
2.2 Gemäss Art. 20 Abs. 4 KV/AR haben die Parteien in allen Verfahren ein Recht auf Anhörung. Nach der Rechtsprechung des Bundesgerichts gewährt das rechtliche Gehör gemäss Art. 29 Abs. 2 BV einen Anspruch auf vorgängige Anhörung, wenn eine Gerichtsbehörde ihren Entscheid mit einer Rechtsnorm oder einem Rechtsgrund zu begründen beabsichtigt, die oder der im bisherigen Verfahren nicht herangezogen wurde, auf die sich die beteiligten Parteien nicht berufen haben und mit deren Erheblichkeit im konkreten Fall sie nicht rechnen konnten (BGE 128 V 272 E. 5b/bb S. 278 mit Hinweisen).
2.3 Im vorliegenden Fall haben die Beschwerdegegner bereits in ihrer Klageantwort ausgeführt, dass die eingeklagte Forderung nicht nur verwirkt sei, sondern auch der Höhe nach bestritten werde. Zudem führten sie in ihrer Appellationsantwort von 9. Dezember 2009 aus, selbst, wenn die Beschwerdeführerin rechtzeitig Mängelrüge erhoben hätte, wäre ihre Forderung in keiner Weise ausgewiesen, zumal dem Wohnungsübergabeprotokoll vom 19. Juli 2006 keinerlei Beweiswert zukomme. Unter diesen Umständen musste die Beschwerdeführerin damit rechnen, dass das Obergericht die Höhe des Schadens als bestritten und die Beschwerdeführerin als beweispflichtig ansehen könnte. Auch dass eine von ihr selbst erstellte Rechnung vom Obergericht im Rahmen der Beweiswürdigung nach freiem Ermessen (vgl. Art. 274d Abs. 3 aOR) als Parteibehauptung qualifiziert wird, konnte für die anwaltlich vertretene Beschwerdeführerin keine Überraschung darstellen. Zudem konnte sich die Beschwerdeführerin zum Nachweis des Schadens in ihrer Replik vom 22. Februar 2010 und ihrer abschliessenden Stellungnahme vom 10. Juni 2011 äussern, weshalb insoweit ihr Anspruch auf rechtliches Gehör gemäss Art. 29 Abs. 2 BV und auf Anhörung gemäss Art. 20 KV/AR gewahrt wurde.
3. 3.1 Das Obergericht ging davon aus, nach der Rückweisung durch das Bundesgericht sei gemäss Art. 404 Abs. 1 der am 1. Januar 2011 in Kraft getretenen Schweizerischen Zivilprozessordnung (ZPO) für das Verfahren vor Obergericht weiterhin die Zivilprozessordnung für den Kanton Appenzell A. Rh. vom 27. April 1980 (aZPO/AR) anwendbar. Diese Erwägung wird von der Beschwerdeführerin zu Recht nicht angefochten (vgl. Urteil 4A_641/2011 vom 27. Januar 2012 E. 2.2).
3.2 Die Beschwerdeführerin rügt indessen, das Obergericht habe mit dem Verzicht auf eine Rückweisung an das Kantonsgericht Art. 272 aZPO/AR willkürlich angewendet und damit Art. 9 BV verletzt, da die erste Instanz nicht über die Schadenersatzforderung entschieden habe und daher eine Rückweisung geboten gewesen sei. Zudem habe das Obergericht mit seinem Vorgehen Art. 94 KV/AR verletzt, der ein Verfahren über zwei Instanzen mit voller Kognition garantiere.
3.3 Gemäss Art. 94 Abs. 1 lit. c und d KV/AR wird die Gerichtsbarkeit zur Beurteilung von Zivilsachen in erster Instanz durch das Kantonsgericht und das Obergericht als Rechtsmittelinstanz ausgeübt. Inwiefern diese Regelung ausschliesst, dass das Obergericht als Rechtsmittelinstanz auch über Fragen entscheidet, welche von der ersten Instanz noch nicht beurteilt wurden, legt die Beschwerdeführerin nicht dar. Dies ist auch nicht ersichtlich, zumal gemäss Art. 272 aZPO/AR das Obergericht [in der Regel] ein neues Urteil fällt (Abs. 1) und es die Streitsache ausnahmsweise unter Aufhebung des Urteils zu neuer Behandlung an die Vorinstanz zurückweisen kann (Abs. 2). Gemäss dieser Kannvorschrift ist das Obergericht auch dann befugt, ein Endurteil zu fällen, wenn die erste Instanz über gewisse sich stellende tatsächliche oder rechtliche Fragen noch nicht entschieden hat. Daran vermag nichts zu ändern, dass in solchen Fällen unter Umständen eine Rückweisung als geboten erscheinen mag. Eine willkürliche Anwendung von Art. 272 aZPO/AR liegt somit nicht vor.
4. 4.1 Weiter bringt die Beschwerdeführerin vor, das Gericht habe im Geltungsbereich der sozialen Untersuchungsmaxime (Art. 267 [recte: Art. 274d] Abs. 3 aOR) eine verstärkte Fragepflicht und die Parteien auf ihre Mitwirkungspflicht sowie auf das Beibringen von Beweisen hinzuweisen. Zudem habe es sich über die Vollständigkeit der Behauptungen und Beweise zu versichern, wenn diesbezüglich ernsthafte Zweifel bestünden. Wie das Ergebnis zeige, habe das Obergericht offenbar an allen geltend gemachten Schadenspositionen erhebliche Zweifel gehabt und hätte daher die Parteien darauf hinweisen sollen, dass es zum Schluss kommen könnte, die Klage sei mangels Beweises vollumfänglich abzuweisen. Dagegen sei es seiner Untersuchungspflicht in Bezug auf die Standpunkte der Gegenpartei extensiv nachgekommen, indem es eigene Internetrecherchen angestellt und von Amtes wegen alle Eventualitäten in Betracht gezogen habe. Damit habe das Obergericht Art. 267 (recte: Art. 274d) Abs. 3 aOR in einer Weise angewendet bzw. nicht angewendet, welche als geradezu willkürlich erscheine und kein faires Verfahren gemäss Art. 29 BV gewährleiste.
4.2 Die Beschwerdeführerin, welche bereits im kantonalen Verfahren anwaltlich vertreten war, legt nicht dar, weshalb das Obergericht an der Vollständigkeit ihrer Behauptungen und Beweise hätte zweifeln sollen. Sie nennt auch keine weiteren Beweismittel, die sie noch hätten anrufen können. Demnach ist die Rüge der willkürlichen Verletzung der aus Art. 274d Abs. 3 aOR abgeleiteten Fragepflicht bzw. des Anspruchs auf ein faires Verfahren nicht rechtsgenüglich begründet (vgl. Urteil 4A_62/2010 vom 13. April 2010 E. 5.2).
5. 5.1 Sodann führt die Beschwerdeführerin aus, das Obergericht habe die Klage zum Teil abgewiesen, weil es nicht als nachgewiesen erachtete, dass die Schäden an der Schranktüre (in der Küche), des zum Teil fehlenden Inlaids (bzw. Linoleums) und die Bohrlöcher in Keramikplatten (im Bad) auf eine vertragswidrige Nutzung durch die Beschwerdegegner zurückzuführen seien. Damit habe es die Beweislast gemäss Art. 8 ZGB willkürlich umgekehrt, da der Mieter nachzuweisen habe, dass ihn am entstandenen Schaden kein Verschulden treffe.
5.2 Diese Rüge ist unbegründet, da erst, wenn der Vermieter den Beweis für die Schadensverursachung durch die Mieter erbracht hat, vermutet wird, dass dieser den Schaden auch verschuldet hat (vgl. LACHAT/ZAHRADNIK, in: Lachat et al., Mietrecht für die Praxis, 8. Aufl. 2009, S. 680 Rz. 31/5.7).
5.3 Schliesslich bringt die Beschwerdeführerin vor, soweit das Obergericht die Klage bezüglich des Linoleums und der Bohrlöcher im Bad aufgrund einer Verletzung der Schadensminderungspflicht der Beschwerdeführerin abgewiesen habe, sei die Beweislastumkehr ebenfalls nicht haltbar.
5.4 Auf diese Rüge ist mangels Rechtsschutzinteresses nicht einzutreten, weil die kritisierten Ausführungen des Obergerichts zur Schadenminderungspflicht lediglich als Eventualbegründungen ohne entscheiderhebliche Bedeutung zu qualifizieren sind.
6. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Ausgang des bundesgerichtlichen Verfahrens wird die Beschwerdeführerin dafür kosten- und entschädigungspflichtig (Art. 66 Abs. 1 und Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1'000.-- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat die Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht Appenzell Ausserrhoden, Einzelrichter, schriftlich mitgeteilt.
Lausanne, 28. März 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Gelzer