Sachverhalt: A. Rechtsanwalt A._ (Beschwerdeführer) schloss am 9. Januar 2003 resp. 21. Juni 2003 mit B._, C._ und D._ (Beschwerdegegner) einen Mandatsvertrag, mit dem die Übernahme des Verwaltungsratspräsidiums durch den Beschwerdeführer und weitere Modalitäten bezüglich der X._ AG vereinbart wurden. Über die X._ AG wurde am 3. November 2003 der Konkurs eröffnet und am 17. Dezember 2004 wieder geschlossen. Der Beschwerdeführer kam mit den von ihm im Konkurs eingegebenen Honorarforderungen für seine Tätigkeit als Verwaltungsratspräsident und Berater mit Fr. 246'819.05 zu Verlust. Ausserdem sind aus der Zeit nach dem Konkurs zwei vom Beschwerdeführer gestellte Honorarrechnungen vom 2. Juni 2005 und vom 7. Oktober 2005 offen geblieben. B. B.a Am 13. Juni 2006 erhoben die Beschwerdegegner beim Bezirksgericht Zürich gegen den Beschwerdeführer je separate Leistungsklagen in der Höhe von Fr. 68'298.60, Fr. 186'895.90 und Fr. 49'000.-- nebst verschiedenen Zinsbetreffnissen. Am 6. September 2006 wurden die drei Verfahren vereinigt. Die Forderungen der Beschwerdegegner beruhen auf der Tatsache, dass der Beschwerdeführer als ihr Beauftragter Zahlungen für sie entgegengenommen und es in der Folge unterlassen hatte, diese an die Beschwerdegegner weiterzuleiten. Die eingeklagten Forderungen der Beschwerdegegner werden vom Beschwerdeführer nicht bestritten. Der Beschwerdeführer beantragte in seinen Klagantworten die Abweisung der Klagen mit der Begründung, die eingeklagten Forderungen seien durch Verrechnung untergegangen. Dabei brachte er seine Honorarforderungen im Betrag von insgesamt Fr. 269'010.80 wie folgt zur Verrechnung: Zusammenfassung der gegenseitigen Ansprüche Zahlungsein- und ausgänge auf dem Klientengelderabwicklungskonto: CHF 29.04.2004 Steuerrückerstattung C._ 150'000.00 29.04.2004 Steuerrückerstattung B._ 50'000.00 29.04.2004 Währungsdifferenz 1'194.52 19.01.2004 C._/B._/D._ 80'000.00 23.10.2003 D._ 51'000.00 Zwischentotal 332'194.52 ./. Zahlung vom 10.12.2003 an B._ 20'000.00 Total 312'194.52 Honorarrechnungen Y.A._ und Verrechnung mit Guthaben der drei Auftraggeber am 29.04.2004, am 02.06.2005 und am 07.10.2005: 09.01.2003 56'810.20 10.03.2003 Verwaltungshonorar 8'000.00 03.04.2003 29'407.70 03.07.2003 22'089.55 06.10.2003 93'863.05 03.11.2003 (Datum der Konkurseröffnung) 36'648.55 Zwischentotal bis zur Konkurseröffnung 246'819.05 02.06.2005 17'041.05 07.10.2005 5'150.70 Total 269'010.80 Guthaben Klientengelderkonto 312'194.52 ./. Honorarrechnungen Y.A._ 269'010.80 Saldo zu Gunsten der Auftraggeber/Kläger 43'183.72 Am 6. Februar 2008 fällte das Bezirksgericht folgendes Urteil: "1.1. Der Beklagte wird verpflichtet, dem Kläger 1 Fr. 68'298.60 nebst Verzugszinsen zu 5 % auf Fr. 18'000.-- seit dem 19. Januar 2004 sowie auf Fr. 50'298.60 seit dem 29. April 2004 zu bezahlen. 1.2. Der Beklagte wird verpflichtet, dem Kläger 2 Fr. 186'895.90 nebst Verzugszinsen zu 5 % auf Fr. 36'000.-- seit dem 19. Januar 2004 sowie auf Fr. 150'895.90 seit dem 29. April 2004 zu bezahlen. 1.3. Der Beklagte wird verpflichtet, dem Kläger 3 Fr. 49'000.-- nebst Verzugszinsen zu 5 % auf Fr. 18'000.-- ab 19. Januar 2004 sowie auf Fr. 31'000.-- seit dem 29. April 2004 zu bezahlen. 2.1. Die Kläger 1 und 3 werden unter solidarischer Haftung verpflichtet, dem Beklagten Fr. 56'810.20 zu bezahlen. 2.2. Die Kläger 1, 2 und 3 werden unter solidarischer Haftung verpflichtet, dem Beklagten Fr. 93'296.50 zu bezahlen. 2.3. Es wird festgestellt, dass die Verrechnungsforderungen des Beklagten im Mehrumfang von Fr. 118'904.10 nicht bestehen." Das Bezirksgericht begründete sein Urteil damit, dass der Beschwerdeführer seine Forderungen gesamthaft mit den Forderungen der Beschwerdegegner verrechnet habe. Er sei davon ausgegangen, dass sämtliche Beschwerdegegner für den Gesamtbetrag solidarisch hafteten, was nicht zutreffe, so dass die Verrechnungserklärung des Beschwerdeführers mangels Gegenseitigkeit der Forderungen teilweise nicht zulässig sei. Da das Gericht nicht anstelle des Beschwerdeführers erklären könne, welcher Betrag welchem Beschwerdegegner gegenüber verrechnet werde, würde im Dispositiv festgehalten, welche Beträge die Parteien einander schuldeten. B.b Gegen dieses Urteil erhob der Beschwerdeführer Berufung an das Obergericht des Kantons Zürich. Er beantragte, die Dispositivziffern 1.1, 1.2, 1.3 und 2.3 aufzuheben. Die Beschwerdegegner 1, 2 und 3 seien unter solidarischer Haftung zu verpflichten, dem Beschwerdeführer Fr. 118'904.10 zu bezahlen. Ferner sei festzustellen, dass die Verrechnungsforderungen des Beschwerdeführers im Mehrumfang von Fr. 110'904.10 bestehen und dass diese Forderungen zur Verrechnung zugelassen werden. Die Beschwerdegegner beantragten, auf die Berufung des Beschwerdeführers nicht einzutreten bzw. diese abzuweisen und das Urteil des Bezirksgerichts in den Dispositivziffern 1.1, 1.2, 1.3 und 2.3 zu bestätigen. Ausserdem erhoben sie Anschlussberufung und verlangten die Aufhebung der Dispositivziffern 2.1 und 2.2. Am 20. Januar 2009 erliess das Obergericht folgendes Urteil: "1.1. Der Beklagte wird verpflichtet, dem Kläger 1 Fr. 68'298.60 nebst Verzugszinsen zu 5 % auf Fr. 18'000.-- seit dem 19. Januar 2004 sowie auf Fr. 50'298.60 seit dem 29. April 2004 zu bezahlen. 1.2. Der Beklagte wird verpflichtet, dem Kläger 2 Fr. 186'895.90 nebst Verzugszinsen zu 5 % auf Fr. 36'000.-- seit dem 19. Januar 2004 sowie auf Fr. 150'895.90 seit dem 29. April 2004 zu bezahlen. 1.3. Der Beklagte wird verpflichtet, dem Kläger 3 Fr. 49'000.-- nebst Verzugszinsen zu 5 % auf Fr. 18'000.-- ab 19. Januar 2004 sowie auf Fr. 31'000.-- seit dem 29. April 2004 zu bezahlen." Das Obergericht hielt fest, das Vorgehen des Bezirksgerichts sei in prozessualer Hinsicht unzutreffend. Geklagt hätten die drei Beschwerdegegner, der Beschwerdeführer habe lediglich die Verrechnung geltend gemacht, ohne Widerklage zu erheben. Es sei deshalb ein Verstoss gegen die Dispositionsmaxime, wenn die Beschwerdegegner im Urteilsdispositiv zu Leistungen an den Beschwerdeführer verpflichtet würden und dieser ohne vorgängige Klage in den Besitz eines Vollstreckungstitels gelange. Das Obergericht erklärte damit auch den Berufungsantrag für unzulässig, wonach die Beschwerdegegner zur Zahlung von Fr. 118'904.10 zu verpflichten seien, da dies auf eine erst in der Berufung erhobene Widerklage hinaus laufe. Werde die Verrechnung ganz oder teilweise zugelassen, sei die Klage entsprechend abzuweisen. Erachte das Gericht die Verrechnung als unzulässig, werde die Klage entsprechend gutgeheissen. Unabhängig vom Ergebnis des Berufungsverfahrens wäre der Entscheid des Bezirksgerichts daher ohnehin zu berichtigen. Bei der Prüfung der Zulässigkeit der Verrechnung kam das Obergericht zum Schluss, dass es an einer gültigen Verrechnungserklärung mangle, weil die zu verrechnenden eigenen und die fremden Forderungen nicht spezifisch bezeichnet worden seien. Es hielt daher die Verrechnung für unzulässig. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts vollumfänglich aufzuheben. Es sei festzustellen, dass in Bezug auf die Honorarforderungen des Beschwerdeführers und die Rückforderungsansprüche der Beschwerdegegner grundsätzlich die Verrechnung zulässig ist, und es sei die Sache zur Neubeurteilung (im Einzelnen) an die Vorinstanz zurückzuweisen. Die Beschwerdegegner beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Vorinstanz verzichtete auf eine Vernehmlassung. D. Mit Präsidialverfügung vom 26. März 2009 wurde das Gesuch des Beschwerdeführers um Erteilung der aufschiebenden Wirkung abgewiesen.