Sachverhalt: A. Dr. iur. X._ (Beschwerdeführer) ist Rechtsanwalt. Als solcher vertrat er A._, B._ und C._ (Beschwerdegegner) in einem Zivilprozess gegen D._ vor dem Zivilgericht Basel-Stadt. Dieser ging für die Beschwerdegegner ungünstig aus: Auf die Klage wurde nicht eingetreten, weshalb ihnen die Gerichtskosten und eine Parteientschädigung an die Gegenpartei auferlegt wurde. B. Am 14. September 2010 machten die Beschwerdegegner gegen den Beschwerdeführer beim Bezirksgericht Zürich eine Klage anhängig mit dem Antrag, dieser sei zu verpflichten, ihnen Fr. 84'114.45 zu bezahlen. Sie begründeten die Klage damit, dass der Beschwerdeführer seinen Auftrag als Anwalt schlecht erfüllt habe. Gestützt darauf verlangten sie einerseits das dem Beschwerdeführer bezahlte Honorar zurück (Fr. 23'900.45), andererseits beanspruchten sie Ersatz der Gerichtskosten und der dem Prozessgegner bezahlten Parteientschädigung (insgesamt Fr. 60'214.--). Mit Urteil vom 5. Juli 2011 verpflichtete das Bezirksgericht den Beschwerdeführer, den Beschwerdegegnern Fr. 84'114.45 zuzüglich Zins zu 5% auf Fr. 23'900.45 seit 21. Juli 2008, auf Fr. 41'946.-- seit 4. August 2008 und auf Fr. 18'240.-- seit 27. Oktober 2008 zu bezahlen. Gegen dieses Urteil erhob der Beschwerdeführer Berufung an das Obergericht des Kantons Zürich, das die Berufung am 6. Januar 2012 abwies und das erstinstanzliche Urteil bestätigte. C. Der Beschwerdeführer beantragt mit Beschwerde in Zivilsachen, das Urteil des Obergerichts mit Bezug auf die Verpflichtung des Beschwerdeführers zur Bezahlung von Fr. 23'900.45 zuzüglich Zins von 5% seit 21. Juli 2008 aufzuheben und die Klage der Beschwerdegegner insoweit abzuweisen (Ziff. 1). Die dem Beschwerdeführer von der ersten Instanz und der Vorinstanz auferlegte Verpflichtung zur Bezahlung von Gerichtskosten und Parteientschädigung sei dementsprechend angemessen zu reduzieren (Ziff. 2). Mit Rechtsbegehren Ziffer 3 beantragt er, die Beschwerdegegner seien zu verpflichten, ihm Fr. 28'016.65 (Honorar zuzüglich kapitalisierter Zins) zuzüglich Zins zu 5% seit 1. Februar 2012 zu bezahlen. Die Beschwerdegegner beantragen, die Rechtsbegehren 1 und 2 der Beschwerde abzuweisen, soweit darauf eingetreten werde. Auf das Rechtsbegehren 3 der Beschwerde sei nicht einzutreten, eventualiter sei es abzuweisen, soweit darauf eingetreten werde. Die Vorinstanz verzichtete auf eine Vernehmlassung. Die Parteien reichten Replik und Duplik ein.