Sachverhalt: A. A._ (Beschwerdeführer) schloss am 6. Oktober 2006 mit der X._ AG (Beschwerdegegnerin) einen Pensions- und Pflegevertrag ab, in welchem die Beschwerdegegnerin als Residenz und der Beschwerdeführer als Pensionär bezeichnet wird. A.a Der Vertragszweck wird wie folgt umschrieben: "Die Residenz bietet dem Pensionär mit diesem Pensionsvertrag ein umfassendes Angebot an Dienstleistungen und trägt so zu einer angenehmen Lebensform in einem freundlichen und sicheren Umfeld bei. Die Leistungen der Residenz beinhalten insbesondere Wohnen, Betreuung, Pflege, Verpflegung sowie übrige Dienstleistungen." A.b Der Pensionspreis betrug Fr. 5'187.-- pro Monat für eine Person. Darin sind folgende Leistungen der Residenz inbegriffen: Unmöblierte Zweizimmerwohnung, die über Anschlüsse für Notrufanlage, Telefon, Radio, Internet und Fernseher verfügt, mit Badezimmer mit Dusche, Loggia und Kellerabteil (Ziff. 4.1 des Vertrages). Die Nettowohnfläche umfasst 55,1 m2, die Loggia zusätzlich 8,8 m2. Reinigung der Wohnung einmal wöchentlich (Ziff. 4.1 des Vertrages). Allgemeinräume zur freien Benutzung der Pensionäre (Waschsalon, Internetcorner, Bibliothek, Mehrzweckraum etc. [Ziff. 4.4 des Vertrages]). Mittagessen siebenmal wöchentlich (Ziff. 4.2 des Vertrages). Notfalldienstbereitschaft während 24 Stunden pro Tag, Hilfestellung und Beratung bei akuten persönlichen Problemen, Organisation von Veranstaltungen für die Pensionäre und deren Gäste, wie etwa Vorträge, Konzerte, Ausflüge, wobei sich die Residenz vorbehält, "zur Deckung der Selbstkosten einen Teil dieser Veranstaltungen als zusätzliche Dienstleistungen" anzubieten, die separat in Rechnung gestellt werden (Ziff. 4.3 des Vertrages). Nicht im Pensionspreis inbegriffen sind: Drittkosten und Gebühren (Telefonanschluss und Gesprächstaxen, Internet, Strom, Radio- und TV-Abonnementsgebühren inkl. Kabelanschluss, Aufwand zur Bestimmung der Pflegestufe bei Neu- und Zwischeneinstufungen, Ziff. 4.5), zusätzliche Dienstleistungen (zusätzliche Mahlzeiten, Diät- oder Schonkost, Zimmerservice, Bettenmachen, Wäschereinigung, zusätzliche Wohnungsreinigung, Arbeiten durch den Haushandwerker, administrative Arbeiten, Ziff. 4.6) sowie Pflege und medizinische Betreuung (Ziff. 5 des Vertrages). Die Residenz verpflichtet sich in Ziff. 5.1 des Vertrages "soweit medizinisch vertretbar und möglich", den Pensionär bei vorübergehender oder dauernder Pflegebedürftigkeit in seiner Wohnung oder in der hauseigenen Pflegeabteilung zu betreuen, wobei beim Übertritt in die Pflegeabteilung ein Pflegevertrag erstellt wird. Die Preise der Pflegedienstleistungen richten sich nach dem hausinternen Tarif (Ziff. 5.2). A.c Die Residenz ist berechtigt, den Pensionspreis jährlich den veränderten wirtschaftlichen Verhältnissen anzupassen. Preisänderungen sind mit einer Frist von drei Monaten schriftlich im Voraus durch die Residenz mitzuteilen (Ziff. 3.1 Abs. 2 des Vertrages). Sie behält sich die jederzeitige Änderung des Vertrages vor. Vertragsänderungen werden dem Pensionär auf dem Zirkularweg oder auf andere geeignete Weise bekannt gegeben und gelten ohne schriftlichen Widerspruch innert Monatsfrist als genehmigt (Ziff. 7 des Vertrages). A.d Der Pensionär kann den Vertrag unter Einhaltung einer dreimonatigen Kündigungsfrist schriftlich auf das Ende eines Monats kündigen (Ziff. 8.1). Er darf das Vertragsverhältnis vorzeitig beendigen, sofern ein geeigneter Nachfolger bereit ist, den Vertrag zu den gleichen Bedingungen zu übernehmen (Ziff. 8.2). Die Residenz darf den Vertrag dagegen nur bei bestimmten Vertragsverletzungen kündigen (wegen wiederholter Verstösse gegen die Hausordnung, Nichtbezahlung des Pensionspreises sowie bei Belästigung oder Gefährdung anderer Hausbewohner usw.) oder wenn eine angemessene Betreuung in der Wohnung nicht mehr möglich ist. In all diesen Fällen beträgt die Kündigungsfrist der Residenz 30 Tage (Ziff. 8.3). B. Mit Schreiben vom 24. September 2008 zeigte die Beschwerdegegnerin dem Beschwerdeführer - nebst der Aufnahme der bis anhin separat fakturierten Pauschalen für Strom und die Anschlussgebühren für Kabelfernsehen / Radio und Telefon - auf den 1. Januar 2009 eine Anpassung des Pensionspreises um Fr. 156.-- (3 %) auf neu Fr. 5'414.-- brutto pro Monat an, was der Beschwerdeführer zunächst akzeptierte. Er verlangte jedoch mit Schreiben vom 28. Juni 2009 eine Herabsetzung des Pensionspreises um 2,91 % wegen der Senkung des Referenzzinssatzes von 3,5 % auf 3,25 %, wobei er festhielt, er sei sich bewusst, dass gewisse neue Leistungen gegengerechnet werden könnten. Es sei jedoch ebenfalls zu berücksichtigen, dass der letzte Aufschlag von 3 % erst auf den 1. Januar 2009 erfolgt sei. Die Beschwerdegegnerin lehnte das Herabsetzungsbegehren ab, im Wesentlichen mit der Begründung, der Pensionsvertrag unterliege nicht dem Mietrecht. C. Am 28. Juli 2009 reichte der Beschwerdeführer der Schlichtungsbehörde des Bezirkes Zürich eine Klage ein mit den Begehren, die Pensionspreiserhöhung als nichtig zu erklären und die Beschwerdegegnerin zu verpflichten, den seit 1. Januar 2009 zu viel bezahlten Betrag zurückzuerstatten. Eventuell sei der Pensionspreis von Fr. 5'414.-- gestützt auf die zwischenzeitlich eingetretene Reduktion des Referenzzinssatzes angemessen herabzusetzen. Eine Einigung zwischen den Parteien kam nicht zustande, was die Schlichtungsbehörde mit Beschlüssen vom 13. Oktober 2009 festhielt. D. Der Beschwerdeführer klagte hierauf fristgerecht beim Mietgericht Zürich gegen die Beschwerdegegnerin auf Feststellung der Nichtigkeit der Pensionspreiserhöhung vom 24. September 2008 sowie auf Rückerstattung des zu viel bezahlten Pensionspreises, den er im Laufe des Verfahrens auf Fr. 3'432.-- nebst Zins bezifferte. Mit Urteil vom 28. Juni 2011 hiess das Mietgericht die Klage vollumfänglich gut, stellte die Nichtigkeit der Pensionspreiserhöhung vom 24. September 2008 fest und verpflichtete die Beschwerdegegnerin, dem Beschwerdeführer Fr. 3'432.-- nebst 5 % Zins seit 1. Dezember 2009 zu bezahlen. Das Mietgericht kam zum Ergebnis, beim zu beurteilenden Pensionsvertrag überwiege der mietrechtliche Aspekt. Die Erhöhung des Pensionspreises hätte daher nach den mietrechtlichen Bestimmungen von Art. 269 ff. OR erfolgen müssen. Die Beschwerdegegnerin habe jedoch die Pensionspreiserhöhung nicht auf einem vom Kanton genehmigten Formular mitgeteilt und begründet. Die Preiserhöhung vom 24. September 2008 auf den 1. Januar 2009 sei daher nichtig (Art. 269d Abs. 1 und 2 OR). Das Mietgericht erachtete den Anspruch auf Rückerstattung im Umfang der bereits bezahlten Erhöhung als begründet. Das Obergericht des Kantons Zürich hiess jedoch die gegen dieses Urteil geführte Berufung der Beschwerdegegnerin gut und wies die Klage am 26. Januar 2012 ab. E. Der Beschwerdeführer beantragt dem Bundesgericht mit Beschwerde in Zivilsachen, das Urteil des Obergerichts aufzuheben und die Klage in Bestätigung des Urteils des Mietgerichts sowohl mit Bezug auf das Feststellungs- wie auf das Rückforderungsbegehren gutzuheissen. Eventuell sei die Sache zur Durchführung eines Beweisverfahrens an das Obergericht zurückzuweisen. Die Beschwerdegegnerin schliesst auf kostenfällige Abweisung der Beschwerde. Das Obergericht hat auf Vernehmlassung verzichtet. Das Bundesgericht hat die Angelegenheit an einer Sitzung beraten.