Sachverhalt:
A. Die X._ AG (Vermieterin) vermietete A._ (Mieter) und seiner Ehefrau eine 3,5-Zimmerwohnung im 10. Obergeschoss an der Y._strasse in Z._. Am 5. Dezember 2008 zeigte die Vermieterin dem Mieter und seiner Ehefrau eine Mietvertragsänderung mit Wirkung ab 1. April 2009 an, welche eine Erhöhung des bisherigen Mietzinses (ohne Nebenkosten) von Fr. 983.-- auf Fr. 1'202.-- vorsah.
B. Der Mieter focht diese Mietvertragsänderung am 6. Januar 2009 bei der Schlichtungsbehörde für das Mietwesen des Bezirks Brugg an, die am 25. November 2009 das Nichtzustandekommen einer Einigung feststellte.
Am 23. Dezember 2009 klagte die Vermieterin beim Bezirksgericht Brugg gegen den Mieter auf Feststellung, dass ein monatlicher Nettomietzins von CHF 1'202.-- zuzüglich Nebenkosten mit Wirkung ab 1. April 2009 für die unter anderem vom Mieter gemietete 3,5-Zimmerwohnung nicht missbräuchlich sei. Mit Verfügung vom 15. März 2011 stellte der Präsident des Bezirksgerichts fest, die dem Mieter von der Vermieterin angezeigte Mietzinsänderung vom 5. Dezember 2008 sei rechtsgültig geworden und trat auf die Klage nicht ein (Dispositiv Ziff. 1 und 2). Die Gerichtskosten, bestehend aus einer Gerichtsgebühr von Fr. 3'500.--, einer Kanzleigebühr und Auslagen von Fr. 360.--, insgesamt Fr. 3'860.-- auferlegte er dem Mieter (Dispositiv Ziff. 3), den er darüber hinaus verpflichtete, der Vermieterin eine Parteientschädigung von Fr. 9'814.40 (inkl. Fr. 727.-- MwSt.) zu bezahlen (Dispositiv Ziff. 4). Auf dem Rubrum findet sich unter der Rubrik "Gegenstand" der Vermerk "Ordentliches Zivilverfahren betreffend Mietzinsanfechtung". In der Rechtsmittelbelehrung führte der Gerichtspräsident unter Hinweis auf Art. 308 ff. ZPO aus, dieser Entscheid könne innert 30 Tagen nach seiner Zustellung beim Obergericht des Kantons Aarau mit Berufung angefochten werden. Innert dieser Frist erhob der Mieter beim Obergericht Berufung, mit der er einzig die Höhe der Gerichts- und Parteikosten gemäss Ziff. 3 und 4 des Dispositivs des erstinstanzlichen Entscheides anfocht. Das Obergericht qualifizierte die Berufung als Kostenbeschwerde und trat mit Entscheid vom 28. Februar 2012 wegen Verspätung darauf nicht ein.
C. Der Mieter (Beschwerdeführer) beantragt dem Bundesgericht mit Beschwerde in Zivilsachen/subsidiärer Verfassungsbeschwerde, den Entscheid des Obergerichts vom 28. Februar 2012 aufzuheben und die Sache an das Obergericht zurückzuweisen. Die Vermieterin (Beschwerdegegnerin) hat auf eine Stellungnahme verzichtet. Hingegen hat das Obergericht eine Vernehmlassung mit dem Antrag auf Abweisung der Beschwerde eingereicht. Der Beschwerdeführer hat sich dazu in einer Replik geäussert.
Erwägungen:
1. Da vor Vorinstanz nur noch die Nebenfolgen des erstinstanzlichen Urteils umstritten waren und der Beschwerdeführer zutreffend darlegt, der Streitwert betrage weniger als Fr. 15'000.--, ist die Beschwerde in Zivilsachen grundsätzlich nicht gegeben (Art. 74 Abs. 1 lit. a BGG). Indessen macht der Beschwerdeführer geltend, es stelle sich eine Frage von grundsätzlicher Bedeutung, weshalb die Beschwerde in Zivilsachen gestützt auf Art. 74 Abs. 2 BGG dennoch zulässig sei. Ob dies zutrifft, braucht indessen nicht entschieden zu werden, da die Beschwerde aufgrund der Rüge der Verletzung von Verfassungsrecht, die auch mit der subsidiären Verfassungsbeschwerde erhoben werden kann und erhoben wurde, gutzuheissen ist, wie nachstehend zu zeigen ist.
2. 2.1 Was das Übergangsrecht anbelangt, hielt die Vorinstanz unangefochten und zu Recht fest, da der in Anwendung des bisherigen Prozessrechts getroffene erstinstanzliche Entscheid nach dem Inkrafttreten der Schweizerischen Zivilprozessordnung (ZPO) am 1. Januar 2011 eröffnet worden sei, gelte diese nach Art. 405 Abs. 1 ZPO für das kantonale Rechtsmittelverfahren.
2.2 Die ZPO sieht als Rechtsmittel die Berufung (Art. 308 ff. ZPO) und die Beschwerde (Art. 319 ff. ZPO) vor. Diese Rechtsmittel sind bei der Rechtsmittelinstanz innert 30 Tagen seit Zustellung des begründeten Entscheids schriftlich und begründet einzureichen (Art. 311 Abs. 1 und Art. 321 Abs. 1 ZPO). Gegen einen im summarischen Verfahren ergangenen Entscheid beträgt die Frist zur Einreichung der Berufung und der Beschwerde jedoch zehn Tage (Art. 314 Abs. 1 und Art. 321 Abs. 2 ZPO).
2.3 Die Vorinstanz ging davon aus, bei der Berufung handle es sich um eine Kostenbeschwerde im Sinne von Art. 110 i.V.m. Art. 319 lit. b Ziff. 1 ZPO, da der Beschwerdeführer damit lediglich die Höhe der Gerichts- und Parteikosten gemäss Ziff. 3 und 4 des Dispositivs des erstinstanzlichen Entscheids angefochten habe.
Sodann hielt die Vorinstanz dafür, der erstinstanzliche Entscheid sei trotz der im Rubrum anders lautenden Bezeichnung im summarischen Verfahren ergangen, entscheide doch der Gerichtspräsident nach § 20 Abs. 1 lit. b der erstinstanzlich geltenden kantonalen Vollziehungsverordnung zum Bundesgesetz über die Änderung des Obligationenrechts (Miete und Pacht) vom 25. Juni 1990 über Streitigkeiten betreffend die Missbräuchlichkeit von Miet- und Pachtzinsen oder Forderungen des Vermieters oder Verpächters im summarischen Verfahren. Dies habe auch der Beschwerdeführer erkannt. Die Beschwerdefrist betrage demnach gemäss Art. 321 Abs. 2 ZPO zehn Tage. Diese Frist habe der Beschwerdeführer nicht eingehalten, weshalb auf die Beschwerde nicht einzutreten sei. Daran ändere nichts, dass ihm in der Rechtsmittelbelehrung eine dreissigtägige Berufungsfrist angegeben worden sei. Da er rechtskundig vertreten gewesen sei und bei zumutbarer Sorgfalt allein durch Konsultation der massgeblichen Verfahrensvorschriften die Unrichtigkeit der Rechtsmittelbelehrung hätte erkennen können und müssen, sei ihm versagt, sich darauf zu berufen, aus einer falschen Rechtsmittelbelehrung dürfe ihm kein Rechtsnachteil erwachsen. Damit erübrige es sich zu entscheiden, ob das Rechtsmittel auch wegen der falschen Bezeichnung unzulässig wäre.
2.4 Der Beschwerdeführer stimmt der Vorinstanz insoweit zu, als auch er seine kantonale Berufung als Kostenbeschwerde qualifiziert. Er macht jedoch geltend, gemäss Art. 405 Abs. 1 ZPO bestimme das neue Recht, welches Rechtsmittel gegen den unter neuem Recht eröffneten Entscheid zu ergreifen sei. Nach der Rechtsprechung des Bundesgerichts sei diesbezüglich der Inhalt des angefochtenen Beschlusses entscheidend. Mit Blick auf das zutreffende Rechtsmittel sei somit zu ermitteln, in welchem Verfahren der angefochtene Entscheid nach der ZPO hätte ergehen müssen. Dies wäre vorliegend gemäss Art. 243 Abs. 2 lit. c ZPO das vereinfachte Verfahren gewesen. Somit betrage die Beschwerdefrist in Anwendung von Art. 321 Abs. 1 ZPO dreissig Tage. Indem die Vorinstanz in Bezug auf die Rechtsmittel von einem summarischen Verfahren ausgehe, wende sie nach dem Inkrafttreten der ZPO weiterhin die Verfahrensbestimmungen der kantonalen Zivilprozessordnung an, was eine krasse Verletzung von Art. 405 Abs. 1 ZPO darstelle.
Selbst wenn eine Frist von zehn Tagen zur Anwendung gelangen sollte, müsste auf die Kostenbeschwerde eingetreten werden, da diesfalls das Nichteintreten dem Grundsatz von Treu und Glauben gemäss Art. 9 BV widersprechen würde, habe die Vorinstanz doch für die Berufungsantwort in Anwendung von Art. 312 Abs. 2 ZPO eine Frist von 30 Tagen angesetzt und damit die Anwendung der dreissigtätigen Berufungsfrist gemäss Art. 311 ZPO impliziert. Damit verlange die Vorinstanz von den Parteien und ihren Anwälten mehr als von sich selbst, was gegen Treu und Glauben verstosse. Hinzu komme, dass die Vorinstanz im Rubrum des angefochtenen Entscheides wie auch in der Fristansetzung an die Gegenpartei zur Berufungsantwort das Verfahren als "ordentliches" Verfahren betreffend Mietzinsanfechtung bezeichnet habe. Sie sei also selbst nicht von einem vereinfachten Verfahren ausgegangen.
2.5 In ihrer Vernehmlassung erklärt die Vorinstanz, bei der Ansetzung der dreissigtägigen Frist zur Erstattung der Berufungsantwort sei ihr ein Versehen unterlaufen, welches sie im Urteil korrigiert habe. Auch die Zuweisung der Berufung in das ordentliche Verfahren sei fehlerhaft gewesen, was aber an der Rechtsmittelfrist nichts ändere.
2.5 In ihrer Vernehmlassung erklärt die Vorinstanz, bei der Ansetzung der dreissigtägigen Frist zur Erstattung der Berufungsantwort sei ihr ein Versehen unterlaufen, welches sie im Urteil korrigiert habe. Auch die Zuweisung der Berufung in das ordentliche Verfahren sei fehlerhaft gewesen, was aber an der Rechtsmittelfrist nichts ändere.
2.6 2.6.1 Aus dem Prinzip von Treu und Glauben (Art. 5 Abs. 3 und Art. 9 BV) leitet die Rechtsprechung ein Recht auf Vertrauensschutz ab. Daraus ergibt sich, dass den Parteien aus einer unrichtigen Rechtsmittelbelehrung grundsätzlich keine Nachteile erwachsen dürfen. Den erwähnten Schutz kann eine Prozesspartei nur dann beanspruchen, wenn sie sich nach Treu und Glauben auf die fehlerhafte Rechtsmittelbelehrung verlassen durfte. Dies trifft auf die Partei nicht zu, welche die Unrichtigkeit erkannte oder bei gebührender Aufmerksamkeit hätte erkennen müssen. Allerdings vermag nur eine grobe prozessuale Unsorgfalt der betroffenen Partei oder ihres Anwalts eine unrichtige Rechtsmittelbelehrung aufzuwiegen (BGE 135 III 374 E. 1.2.2.1 S. 376 f. mit Hinweisen). Wann der Prozesspartei eine als grob zu wertende Unsorgfalt vorzuwerfen ist, beurteilt sich nach den konkreten Umständen und nach ihren Rechtskenntnissen, wobei bei Anwälten naturgemäss ein strengerer Massstab anzulegen ist. Von ihnen wird jedenfalls eine "Grobkontrolle" der Rechtsmittelbelehrung durch Konsultierung der anwendbaren Verfahrensbestimmungen erwartet. Dagegen wird nicht verlangt, dass neben den Gesetzestexten auch noch die einschlägige Rechtsprechung oder Literatur nachgeschlagen wird (BGE 138 I 49 E. 8.3.2 S. 53 f. mit Hinweisen).
2.6.2 Mit Bezug auf Art. 314 Abs. 1 ZPO im Speziellen erkannte das Bundesgericht, diese Bestimmung sehe vor, die Frist zur Einreichung der Berufung betrage 10 Tage, wenn der angefochtene Entscheid im summarischen Verfahren ergangen sei. Die Vorschrift präzisiere aber nicht, ob mit dem "summarischen Verfahren" das konkret nach kantonalem Prozessrecht angewandte oder das abstrakt nach ZPO anzuwendende Verfahren gemeint sei. Welche Berufungsfrist übergangsrechtlich zu gelten habe, stehe damit nicht eindeutig fest, weshalb ein diesbezüglicher Irrtum jedenfalls nicht als grobe Unsorgfalt gewertet werden könne. Unter diesen Umständen sei auch eine anwaltlich vertretene Partei in ihrem Vertrauen in eine unrichtige Angabe des erstinstanzlichen Gerichts zu schützen (BGE 138 I 49 E. 8.4 S. 54).
2.7 Gestützt auf diese Rechtsprechung, welche sich auf Art. 321 Abs. 2 ZPO übertragen lässt, steht fest, dass der von der Vorinstanz angenommene Mangel in der Rechtsmittelbelehrung, sollte es sich denn um einen solchen handeln, ausschliesslich anhand der Lektüre des einschlägigen Gesetzestexts nicht erkennbar war. Vielmehr lässt sich die Geltung der vom erstinstanzlichen Richter bezeichnete Rechtsmittelfrist mit guten Gründen vertreten (vgl. BGE 138 I 49 E. 7.3 S. 52). Welche Frist richtigerweise hätte Anwendung finden müssen, braucht demnach nicht entschieden zu werden. So oder anders hätte die Vorinstanz den Beschwerdeführer in seinem Vertrauen in die Richtigkeit der im erstinstanzlichen Urteil angeführten Rechtsmittelfrist schützen und das Rechtsmittel als rechtzeitig entgegen nehmen müssen. Die Rüge der Verletzung des Grundsatzes von Treu und Glauben nach Art. 9 BV erweist sich als begründet.
3. Aus den dargelegten Gründen ist die Beschwerde gutzuheissen, der angefochtene Entscheid aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen (Art. 107 BGG). Die Beschwerdegegnerin kann im Verfahren vor Bundesgericht nicht als unterliegende Partei betrachtet werden, zumal sie in diesem Verfahren keinen Antrag stellte und die Vorinstanz die Rechtzeitigkeit des Rechtsmittels von Amtes wegen zu prüfen hatte. Kosten sind daher nicht zu erheben (Art. 66 Abs. 1 und 4 BGG). Dagegen hat der Kanton Aargau den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen (Art. 68 Abs. 4 i.V.m. Art. 66 Abs. 3 BGG; vgl. Urteil 4A_595/2011 vom 17. Februar 2012 E. 3).
Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde wird der Entscheid des Obergerichts des Kantons Aargau vom 28. Februar 2012 aufgehoben. Die Sache wird zur Neubeurteilung an die Vorinstanz zurückgewiesen.
2. Es werden keine Kosten erhoben.
3. Der Kanton Aargau hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'000.-- zu entschädigen.
4. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Aargau, Zivilgericht, 4. Kammer, schriftlich mitgeteilt.
Lausanne, 10. September 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Gelzer