Sachverhalt:
A. X._ (Beschwerdeführer) ist Eigentümer eines Restaurants. Er vereinbarte mit Y._ (Beschwerdegegner) dass dieser den Betrieb des Restaurants übernehmen sollte. Die Parteien gerieten in Streit über die Natur der getroffenen Vereinbarung. Mit Beschluss vom 20. März 2008 erkannte das Obergericht des Kantons Zürich, zwischen den Parteien sei ein Mietvertrag zustande gekommen, und es hiess die Klage des Beschwerdeführers auf Mietzinszahlung gut. Der Beschwerdegegner machte daraufhin geltend, da er bis zum Entscheid des Obergerichts nicht von einem mietrechtlichen, sondern einem gesellschaftsrechtlichen Verhältnis ausgegangen sei, habe er während des Mietverhältnisses insgesamt Fr. 45'875.70 für Mietnebenkosten ausgelegt, die vom Beschwerdeführer als Vermieter zu tragen gewesen wären. Davon klagte er im Rahmen einer Teilklage Fr. 30'000.-- ein, während der Beschwerdeführer widerklageweise feststellen lassen wollte, dass er dem Beschwerdegegner nichts schulde. Nachdem das Obergericht einen ersten Entscheid des Bezirksgerichts Hinwil vom 14. September 2009 mit Beschluss vom 17. Mai 2010 teilweise aufgehoben und das Verfahren an dieses zurückgewiesen hatte, trat das Bezirksgericht am 15. Dezember 2011 auf die Widerklage nicht ein und hiess die Klage im Umfang von Fr. 14'162.55 nebst Zins gut. Der Betrag ergibt sich aus an die Adresse des Restaurants (zum Teil explizit zu Handen des Beschwerdegegners) gerichteten Rechnungen für Heizöl und Schornsteinfegerarbeiten. Auf Berufung des Beschwerdeführers bestätigte das Obergericht am 26. März 2012 den Entscheid des Bezirksgerichts.
B. Mit Beschwerde in Zivilsachen beantragt der Beschwerdeführer dem Bundesgericht, die Klage kostenfällig abzuweisen und die Widerklage gutzuheissen. Seinem Gesuch, der Beschwerde aufschiebende Wirkung zu gewähren, gab das Bundesgericht am 8. Mai 2012 statt. Der Beschwerdegegner hat in seiner Vernehmlassung sowohl Abweisung des Gesuchs um aufschiebende Wirkung als auch der Beschwerde beantragt. Zur Begründung des Antrags auf Abweisung der Beschwerde verweist er auf die kantonalen Entscheide und Akten, ohne im Einzelnen auf die Beschwerde einzugehen. Das Obergericht hat darauf verzichtet, sich vernehmen zu lassen.
Erwägungen:
1. Der Beschwerdeführer ist der Auffassung, der Beschwerdegegner habe im kantonalen Verfahren ein untaugliches Rechtsbegehren gestellt und seine Teilklage nicht hinreichend substanziiert. Die unbestrittene Zulässigkeit der Teilklage dürfe nicht dazu führen, dass verschiedene Positionen im Sinne einer Auswahl der gerichtlichen Beurteilung anheimgestellt würden, wobei es dann Sache des Gerichts wäre, Position für Position in ihrer Gänze urteilsmässig abzuhandeln, idealiter so lange, bis der Betrag der Teilklage erreicht wäre. Die klagende Partei müsse vielmehr angeben, welchen Teil jedes der Ansprüche sie in welcher Reihenfolge fordere.
1.1 Da die Klage vor Inkrafttreten der ZPO anhängig gemacht wurde, bleibt für die Anforderungen an die Klage das kantonale Prozessrecht massgebend. Wie weit die anspruchsbegründenden Tatsachen inhaltlich zu substanziieren sind, damit sie unter die massgeblichen Bestimmungen des materiellen Rechts subsumiert werden können, bestimmt aber das materielle Bundesrecht. Das kantonale Prozessrecht darf von den Parteien keine darüber hinausgehende Substanziierung verlangen (BGE 108 II 337 E. 2 und 3; 133 III 153 E. 3.3 S. 162; 127 III 365 E. 2b S. 368 mit Hinweisen).
1.2 Die Möglichkeit, Teilklage zu erheben, wird in Lehre und Rechtsprechung zwar als Ausfluss der Dispositionsmaxime betrachtet (WÜTHRICH, Teilklage und Teilurteil, 1952, S. 13; FRANK/STRÄULI/MESSMER, Kommentar zur zürcherischen Zivilprozessordnung, 3. Aufl. 1997, N. 20 zu § 17 ZPO/ZH; VOGEL/SPÜHLER, Grundriss des Zivilprozessrechts, 8. Aufl. 2006, S. 199 Kap. 7 Rz. 47; so auch ausdrücklich für die schweizerische ZPO: Botschaft vom 28. Juni 2006, Ziff. 5.6 zu Art. 84 E-ZPO, BBl 2006 7288) und daher vor Inkrafttreten der Schweizerischen ZPO grundsätzlich dem kantonalen Prozessrecht zugeordnet (Urteil des Bundesgerichts 4A_104/2011 vom 27. September 2011 E. 3.2 mit Hinweisen; HOHL, in: Commentaire romand, Code des obligations I, 1. Aufl. 2005 [Vorauflage], N. 8 zu Art. 69 OR vgl. auch STAEHELIN/SUTTER, Zivilprozessrecht, 1992, S. 103 § 11 Rz. 6). Das kantonale Recht bestimmt indessen nicht, ob und in welchem Zeitpunkt der Richter eine aus dem Bundesrecht abgeleitete Forderung zu schützen hat. Das Klagerecht ist vielmehr ein Ausfluss des materiellen Anspruchs (so schon BGE 86 II 41 E. 4 S. 44 f. mit Hinweisen). Nach kantonalem Prozessrecht bestimmt sich lediglich, in welchen Formen der Rechtsschutz gewährt wird, während es eine Frage des materiellen Rechts ist, ob er zu gewähren ist (GULDENER, Schweizerisches Zivilprozessrecht, 3. Aufl. 1979, S. 69). Soweit sich die Dispositionsmaxime als prozessuale Auswirkung der (bundes-)zivilrechtlichen Privatautonomie erweist, sind die Kantone mithin in der Ausgestaltung der Dispositionsmaxime eingeschränkt (vgl. STAEHELIN/SUTTER, a.a.O., S. 103 § 11 Rz. 6).
1.3 Der Gläubiger ist von Bundesrechts wegen nach einhelliger Lehre berechtigt, vom Schuldner eine Teilzahlung zu fordern (VON TUHR/ESCHER, Allgemeiner Teil des Schweizerischen Obligationenrechts, Bd. II, 1974, S. 16; WEBER, Berner Kommentar, 2. Aufl. 2005, N. 49 zu Art. 69 OR; SCHRANER, Zürcher Kommentar, 2000, N. 30 zu Art. 69 OR; HOHL, a.a.O., N. 6 f. zu Art. 69 OR; LEU, in: Basler Kommentar, Obligationenrecht I, 5. Aufl. 2011, N. 4 zu Art. 69 OR). Die Zulässigkeit, eine Teilklage zu erheben, erweist sich insoweit als Ausfluss des materiellen Rechts (vgl. GULDENER, a.a.O., S. 192 Fn. 4; SUTTER-SOMM, Schweizerisches Zivilprozessrecht, 2. Aufl. 2012, S. 133 Rz. 544; MATTHIAS COURVOISIER, in: Schweizerische Zivilprozessordnung [ZPO], Baker & McKenzie [Hrsg.], 2010, N. 2 zu Art. 86 ZPO). Hat der Gläubiger von Bundesrechts wegen Anspruch darauf, eine Teilzahlung zu verlangen, muss er diesen auch einklagen können (vgl. GULDENER, a.a.O., S. 68 f.).
1.4 Zur Subsumtion unter die massgeblichen Bestimmungen des materiellen Rechts ist es nicht notwendig, dass der Kläger die Reihenfolge angibt, in welcher verschiedene Ansprüche, auf die er seine Teilforderung schützt, vom Gericht zu prüfen sind. Es genügt, hinreichend substanziiert zu behaupten, dass eine die eingeklagte Summe übersteigende Forderung besteht. Das materielle Bundesrecht verlangt vom Berechtigten nicht, dass er angibt, worauf die von ihm geforderte Teilzahlung angerechnet wird. Das Gesetz regelt vielmehr in Art. 86 ff. OR, wie Teilzahlungen bei mehreren Schulden anzurechnen sind. Die Vorinstanz erachtete die Teilklage mithin zu Recht als hinreichend substanziiert. Aus dem kantonalen Entscheid, welcher vom Bundesgericht mit Urteil 4P.19/2003 E. 3 vom 25. März 2003 verfassungsrechtlich nicht beanstandet wurde, lässt sich nichts zu Gunsten des Beschwerdeführers ableiten, da das Bundesgericht die Frage mangels materieller Ausschöpfung des Instanzenzuges nicht abschliessend beurteilte und die korrekte Anwendung von Bundesrecht im Verfahren der staatsrechtlichen Beschwerde nicht zu prüfen war.
1.5 Nicht begründet ist die Beschwerde auch, soweit der Beschwerdeführer beanstandet, dass die Vorinstanz auf seine Feststellungsklage nicht eingetreten ist. Der Beschwerdegegner hat eine Gesamtforderung von Fr. 45'875.70 behauptet und von dieser mit der Teilklage Fr. 30'000.-- gerichtlich geltend gemacht. Die Vorinstanz hat die behauptete Forderung nur im Umfang von Fr. 14'162.55 für begründet erachtet. Erwächst dieser Entscheid in materielle Rechtskraft, steht bereits fest, dass der Beschwerdeführer dem Beschwerdegegner aus dem im Prozess geltend gemachten Sachverhalt diesen Betrag schuldet, und nicht mehr. Insoweit besteht kein Rechtsschutzinteresse an der Feststellungsklage. Dieses könnte nur gegeben sein mit Bezug auf Forderungen, die sich auf einen Sachverhalt stützen, der nicht Gegenstand des Prozesses und der Teilklage war. Dass derartige Forderungen im Raum stehen, macht der Beschwerdeführer nicht geltend. Damit fehlt es bezüglich der Feststellungsklage am Feststellungsinteresse.
2. Materiell ist im Wesentlichen umstritten, ob es sich bei den vom Beschwerdegegner bezahlten Rechnungen um von diesem zu tragende Verbraucherkosten oder vom Beschwerdeführer zu tragende Nebenkosten handelt und ob allfällige Ansprüche des Beschwerdegegners, wie die Vorinstanz annahm, mit der vertraglichen Verjährungsfrist verjähren oder mit der gemäss (bestrittener) Auffassung des Beschwerdeführers bereits abgelaufenen bereicherungsrechtlichen.
2.1 Nach Art. 257a Abs. 2 OR hat der Mieter die Nebenkosten nur zu bezahlen, wenn er dies mit dem Vermieter besonders vereinbart hat. Diese Bestimmung bringt zum Ausdruck, dass die Kosten grundsätzlich vom Vermieter zu tragen sind. Der Mieter hat nur für diejenigen Nebenkosten aufzukommen, die im Vertrag eindeutig und genau bezeichnet werden (BGE 121 III 460 E. 2a/aa S. 462 mit Hinweisen). Die besondere Vereinbarung wird in aller Regel eine ausdrückliche, meist eine schriftliche sein, kann jedoch auch formfrei erfolgen und sich gegebenenfalls aus den Umständen ergeben. Es handelt sich bei Art. 257a Abs. 2 OR nicht um eine Vorschrift, die besondere Erfordernisse an die Art und Form der Vereinbarung aufstellt. Die Bestimmung statuiert vielmehr eine besondere Auslegungsregel, nach der alle Nebenkosten, die nicht eindeutig als vom Mieter zu tragen vereinbart worden sind, der Regel der Kostentragung durch den Vermieter entsprechend, vom diesem getragen werden (Urteil des Bundesgerichts 4P.323/2006 vom 21. März 2007 E. 2.1 mit Hinweisen).
2.2 Der gesetzliche Begriff der Nebenkosten gemäss Art. 257a f. OR ist zwingender Natur. Parteiabreden, wonach andere, nicht unter die Legaldefinition fallende Aufwendungen des Vermieters als Nebenkosten abzugelten seien, sind deshalb grundsätzlich ebenso unzulässig wie Vereinbarungen, die Nebenkosten im Sinne von Art. 257a f. OR dem Anwendungsbereich dieser Normen entziehen (vgl. BGE 137 I 135 E. 2.4 S. 139 mit Hinweisen). Art. 257a Abs. 1 OR definiert die Nebenkosten als Entgelt für die Leistungen des Vermieters oder eines Dritten, die mit dem Gebrauch der Sache zusammenhängen. Art. 257b Abs. 1 OR präzisiert in Bezug auf Wohn- und Geschäftsräume, Nebenkosten seien die tatsächlichen Aufwendungen des Vermieters für Leistungen, die mit dem Gebrauch zusammenhängen, wie Heizungs-, Warmwasser- und ähnliche Betriebskosten, sowie für öffentliche Abgaben, die sich aus dem Gebrauch der Sache ergeben. Diesen Kosten werden bisweilen die sogenannten Verbraucherkosten gegenübergestellt, welche ausschliesslich vom Mieter zum eigenen Bedarf verursacht werden und daher regelmässig bei diesem anfallen. Ein Beispiel dafür sind die Kosten für den individuellen Elektrizitätsverbrauch des Mieters, welche von diesem in der Regel direkt dem Versorgungsbetrieb zu bezahlen sind (Urteil des Bundesgerichts 4C.82/2000 vom 24. Mai 2000 E. 3a und b mit Hinweisen).
2.3 Der Beschwerdeführer ist der Auffassung, als Nebenkosten könnten nur Kosten angesehen werden, die beim Vermieter anfallen. Bei direkt beim Mieter anfallenden handle es sich nicht um Nebenkosten, sondern um Verbraucherkosten, die vom Mieter zu bezahlen seien. Der Beschwerdeführer berief sich bereits im kantonalen Verfahren auf die analoge Situation bei der Vermietung von Einfamilienhäusern, bei denen die Verbraucherkosten den Nebenkosten entsprächen. Dasselbe gelte für Kosten, die im Zusammenhang mit dem im Mietobjekt betriebenen Gewerbe des Mieters stünden und auf Bestellungen in dessen eigenem Namen und auf eigene Rechnung zurückzuführen seien. Solche Kosten seien immer als Verbraucherkosten zu qualifizieren, nicht als Mietnebenkosten. In der Beschwerde wird mit Aktenhinweis aufgezeigt, dass der Beschwerdegegner im kantonalen Verfahren behauptet hat, er selbst habe die Heizöllieferungen organisiert (er begründet dies an der angeführten Stelle damit, er sei davon ausgegangen, zwischen den Parteien bestehe ein gesellschaftsrechtliches Verhältnis, nicht ein Mietverhältnis). Unter diesen Umständen scheidet nach Auffassung des Beschwerdeführers die Qualifikation als Nebenkosten aus.
2.4 Die Vorinstanz verwarf bereits in ihrem Rückweisungsbeschluss vom 17. Mai 2010 die These, Nebenkosten seien begrifflich nur solche Kosten, die der Vermieter bezahle und auf den Mieter zu überwälzen suche. Wenn nach gesetzlicher Vorschrift der Vermieter die Aufwendungen zu tragen habe, sei es nicht zu rechtfertigen, dem Mieter prinzipiell einen Ersatzanspruch zu versagen. Wenn bei einem Einfamilienhaus der Mieter das Heizöl selbst einkaufe, werde dies regelmässig auf einer entsprechenden Übereinkunft der Parteien beruhen, die Art. 257a Abs. 2 OR ausdrücklich vorbehalte. Der Beschwerdeführer behaupte aber nicht, dass er mit dem Beschwerdegegner eine entsprechende Absprache getroffen habe. Daher bleibe es beim gesetzlichen Normalfall.
2.5 In Art. 257b OR werden für Wohn- und Geschäftsräume die Heizkosten ausdrücklich als Beispiel für Nebenkosten erwähnt. Insoweit darf der Mieter grundsätzlich davon ausgehen, die Heizkosten seien im Mietzins enthalten, wenn nichts Abweichendes vereinbart wurde. Dabei ist nicht massgebend, wem die Leistungen in Rechnung gestellt werden, sondern ob sie gemäss Vertrag und gesetzlichen Bestimmungen vom Vermieter oder vom Mieter zu bezahlen sind. Daraus darf indessen nicht geschlossen werden, der Mieter könne ohne Weiteres die Leistungen Dritter selbst bestellen und nach Bezahlung der Rechnungen die bezahlten Beträge vom Vermieter zurückfordern. Trägt der Vermieter die Heizkosten, dann ist es seine Sache zu entscheiden, bei wem er in welchem Zeitpunkt Heizöl bestellt und wen er mit den notwendigen Schornsteinfegerarbeiten betraut. Kommt der Vermieter seinen Pflichten nicht nach, kann der Mieter die Beseitigung des Mangels verlangen. Erst nachdem dem Vermieter eine Frist zur Mangelbeseitigung angesetzt wurde und dieser untätig geblieben ist, kann der Mieter den Mangel auf Kosten des Vermieters beseitigen lassen (Art. 259b lit. b OR). Beseitigt der Mieter einen Mangel, ohne den Vermieter über den Mangel zu verständigen, kann er die ihm entstandenen Kosten nicht ohne Weiteres auf den Vermieter überwälzen, sondern nur den Betrag, den der Vermieter bei Kenntnis des Mangels selbst zu dessen Behebung hätte aufbringen müssen (vgl. Urteil des Bundesgerichts 4A_628/2010 vom 23. Februar 2011 E. 4, in welchem der Mieter den gerügten Mangel beheben liess, bevor die angemessene Frist zur Mängelbehebung abgelaufen war), es sei denn, der Mieter handle als eigentlicher Geschäftsführer ohne Auftrag nach Art. 422 Abs. 2 OR objektiv im Interesse des Vermieters (beispielsweise zur Abwendung eines Schadens nach Art. 259e OR). Davon kann aber keine Rede sein, wenn der Mieter ohne Dringlichkeit systematisch selbst Heizöl bestellt, ohne diese Leistung vom Vermieter einzuverlangen.
2.6 Die angeführten Überlegungen sprechen eher dafür, allfällige Ansprüche des Beschwerdegegners auf Rückvergütung entgegen der Auffassung der Vorinstanz der bereicherungsrechtlichen Verjährung zu unterstellen. Diese Frage, wie auch diejenige, ob die Ansprüche diesfalls verjährt wären, braucht indessen nicht weiter behandelt zu werden, da die Klage ohnehin abzuweisen ist:
2.6.1 Zunächst ist fraglich, ob Leistungen überhaupt unter den Begriff der Nebenkosten subsumiert werden können, wenn bei beidseitig korrekter Erfüllung des Mietvertrages nicht nur die Rechnungstellung für die Leistungen Dritter an den Mieter erfolgt, sondern der Bezug der Leistungen selbst ausschliesslich auf einem Rechtsverhältnis zwischen dem Mieter und dem Dritten beruht. Auch diese Frage kann indes offenbleiben. Eine besondere Vereinbarung über die Tragung der Nebenkosten kann nämlich auch formfrei erfolgen und sich aus den Umständen ergeben. Daher schadet es nicht, wenn der Beschwerdeführer keine explizite Abrede behauptet hat. Es genügt, dass er mit dem Verweis auf die analoge Situation bei Einfamilienhäusern vorgebracht hat, die Kostentragungspflicht des Mieters ergebe sich aus den Umständen.
2.6.2 Der Beschwerdegegner ist nach seinen eigenen Angaben von einem gesellschaftsrechtlichen Verhältnis ausgegangen. Ein tatsächlich übereinstimmender Wille bezüglich des Mietverhältnisses bestand demnach nicht. Das Obergericht hat bereits im Beschluss vom 20. März 2008 (der nicht Gegenstand dieses Verfahrens ist) auf den durch die regelmässige Zahlung der Geldbeträge nach Treu und Glauben geschaffenen Rechtsschein abgestellt und somit gestützt auf einen normativen Konsens auf das Vorliegen eines Mietverhältnisses geschlossen. Ebenso bestimmt sich normativ, ob die Tragung der Heizkosten durch den Mieter vereinbart wurde.
2.6.3 Gemäss den Ausführungen des Beschwerdegegners im kantonalen Verfahren hat er selbst die von ihm bezahlten Leistungen bestellt. Er ging damals selbst nicht davon aus, der Beschwerdeführer müsse das Heizöl bezahlen. Entsprechend ist nicht festgestellt, dass er je vom Beschwerdeführer verlangt hätte, sich um die Lieferung von Heizöl zu kümmern. Dieses Verhalten konnte der Beschwerdeführer objektiv nur dahin deuten, auch der Beschwerdegegner gehe davon aus, das Heizöl und die Schornsteinfegerrechnung seien als Verbraucherkosten nicht im Mietzins eingeschlossen. Da eine entsprechende Vereinbarung auch konkludent geschlossen werden kann, ist in normativer Auslegung davon auszugehen, es sei vereinbart worden, der Beschwerdegegner habe die von ihm ausgelegten Kosten für Heizöl und den Schornsteinfeger selbst zu tragen. Daher steht ihm kein Rückforderungsanspruch zu.
3. Die Beschwerde ist demnach teilweise gutzuheissen und die Klage abzuweisen. Mit Blick auf die Widerklage erweist sich die Beschwerde dagegen als unbegründet. Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten den Parteien je zur Hälfte aufzuerlegen und die Parteikosten wettzuschlagen. Die Sache ist zur Neuregelung der Kosten- und Entschädigungsfolgen für das kantonale Verfahren an die Vorinstanz zurückzuweisen.
Demnach erkennt das Bundesgericht:
1. In teilweiser Gutheissung der Beschwerde wird die Klage abgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2. Die Sache wird zur Neuregelung der Kosten- und Entschädigungsfolgen an die Vorinstanz zurückgewiesen.
3. Die Gerichtskosten von Fr. 2'000.-- werden den Parteien je zur Hälfte auferlegt.
4. Es wird keine Parteientschädigung zugesprochen.
5. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Zivilkammer, schriftlich mitgeteilt.
Lausanne, 20. Juli 2012
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak