Sachverhalt:
A. X._ wurde vom Bezirksgericht Zürich mit Urteil vom 13. Januar 2010 mehrerer Vermögensdelikte für schuldig befunden und zu einer bedingten Freiheitsstrafe von 17 Monaten und 15 Tagen verurteilt. Der Verurteilte gelangte gegen dieses Urteil mit Berufung an das Obergericht des Kantons Zürich. Dieses räumte dem amtlichen Verteidiger von X._ eine Frist ein, um allfällige Beweisanträge zu stellen und zu begründen, worauf dieser mit Eingabe vom 14. Juni 2010 Beweisanträge stellte. In der Folge schrieb der Vorsitzende der I. Strafkammer des Obergerichts, Vizepräsident Peter Marti, am 29. Juni 2010 dem Verteidiger einen Brief, worin er eine Beurteilung der Sach- und Rechtslage abgab und den Verteidiger ersuchte, mit seinem Klienten ernsthaft einen Rückzug der Berufung wegen schlechter Erfolgsaussichten zu diskutieren. Der Verteidiger antwortete mit Schreiben vom 23. August 2010, dass an der Berufung festgehalten werde. Mit Schreiben vom 24. August 2010 teilte Oberrichter Marti dem Verteidiger mit, dass er die Aufrechterhaltung der Berufung zur Kenntnis nehme und am weiteren Verfahren nicht mitwirken werde.
Mit Eingabe vom 26. August 2010 stellte X._ den Antrag, dass der Vorsitzende sowie sämtliche Mitglieder der I. Strafkammer des Obergerichts im Berufungsverfahren wegen des Anscheins der Befangenheit in den Ausstand zu treten haben. Die Mitglieder und Ersatzmitglieder der I. Strafkammer gaben - mit Ausnahme von Oberrichter Marti - gewissenhafte Erklärungen ab, dass sie nicht befangen seien. Mit Beschluss vom 3. November 2010 bewilligte das Gesamtgericht des Obergerichts ohne Mitwirkung der Mitglieder der I. Strafkammer den Ausstand von Oberrichter Marti für das Berufungsverfahren. Das Ablehnungsbegehren gegen die übrigen Mitglieder und Ersatzmitglieder der I. Strafkammer wies es ab. Eine gegen diesen Beschluss gerichtete Beschwerde in Strafsachen wies das Bundesgericht mit Urteil 1B_407/2010 vom 4. Mai 2011 (= BGE 137 I 227) ab, soweit darauf einzutreten war. Am 22. August 2011 gelangte X._ gegen dieses Urteil des Bundesgerichts an den Europäischen Gerichtshof für Menschenrechte (EGMR).
B. Am 26. Juli 2011 setzte die I. Strafkammer des Obergerichts die Berufungsverhandlung neu auf den 3. Oktober 2011 fest. X._ verlangte am 30. September 2011 den Ausstand wegen Befangenheit der konkret bekannten Gerichtsbesetzung (Oberrichter Bollinger, Volken und Brenn) sowie des namentlich nicht bekannten Gerichtsschreibers, worauf der Termin für die Berufungsverhandlung aufgehoben wurde. Die genannten Oberrichter und Gerichtsschreiber Brütsch gaben am 8. November 2011 die gewissenhafte Erklärung ab, sich nicht befangen zu fühlen und beantragten die Abweisung des Ausstandsbegehrens. Nach Durchführung eines Schriftenwechsels wies die II. Strafkammer des Obergerichts das Ausstandsbegehren mit Beschluss vom 26. Januar 2012 ab.
C. Mit Beschwerde in Strafsachen an das Bundesgericht vom 5. März 2012 beantragt X._, der Beschluss der II. Strafkammer des Obergerichts vom 26. Januar 2012 sei aufzuheben. Weiter verlangt er den Ausstand der Mitglieder der I. Strafkammer des Obergerichts Oberrichter Bollinger, Volken und Brenn wegen des Anscheins der Befangenheit. Er rügt die Verletzung des Anspruchs auf ein unabhängiges und unparteiisches Gericht (Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK) sowie des Anspruchs auf ein faires Verfahren (Art. 29 BV).
Die II. Strafkammer des Obergerichts verzichtet auf eine Stellungnahme zur Beschwerde. Die vom Ausstandsbegehren betroffenen Mitglieder der I. Strafkammer haben sich nicht vernehmen lassen.
Erwägungen:
1. Beim angefochtenen Entscheid handelt es sich um einen selbstständig eröffneten, kantonal letztinstanzlichen Zwischenentscheid über den Ausstand von Mitgliedern der I. Strafkammer des Obergerichts in einem strafrechtlichen Berufungsverfahren (Art. 92 BGG). Gegen diesen Entscheid ist die Beschwerde in Strafsachen zulässig (Art. 78 ff. BGG). Der Beschwerdeführer hat am vorinstanzlichen Verfahren teilgenommen und ist als Beschuldigter gemäss Art. 81 Abs. 1 lit. a und b Ziff. 1 BGG zur Beschwerde befugt. Auf die rechtzeitig erhobene Beschwerde ist daher grundsätzlich einzutreten.
2. 2.1 Nach Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirken sachfremder Umstände entschieden wird. Ob diese Garantien verletzt sind, prüft das Bundesgericht frei. Art. 30 Abs. 1 BV soll zu der für einen korrekten und fairen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen. Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Solche Umstände können in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist (BGE 137 I 227 E. 2.1 S. 229 mit Hinweisen).
Der Anschein der Befangenheit kann durch unterschiedlichste Umstände und Gegebenheiten erweckt werden. Dazu können nach der Rechtsprechung insbesondere vor oder während eines Prozesses abgegebene Äusserungen eines Richters zählen, die den Schluss zulassen, dass sich dieser bereits eine feste Meinung über den Ausgang des Verfahrens gebildet hat (BGE 137 I 227 E. 2.1 S. 229 mit Hinweisen).
Der Ausstand von Richtern steht indessen nicht in der freien Disposition der Parteien. Es geht immer auch um das öffentliche Interesse an der verfassungskonformen Zusammensetzung des Gerichts. Der Ausstand im Einzelfall ist im Lichte des Anspruchs auf den gesetzlichen Richter zu prüfen. Er muss die Ausnahme bleiben, damit die regelhafte Zuständigkeitsordnung der Gerichte nicht illusorisch und die Garantie des verfassungsmässigen Richters nicht von dieser Seite her ausgehöhlt wird (BGE 116 Ia 32 E. 3b/bb S. 40; 115 Ia 172 E. 4 S. 176; 112 Ia 290 E. 3a S. 293 und E. 5e S. 303 f.; Urteil des Bundesgerichts 4A_147/2008 vom 26. Mai 2008 E. 2.2; REGINA KIENER, Richterliche Unabhängigkeit, 2001, S. 87).
2.2 Das Obergericht verneinte den Anschein der Befangenheit der betroffenen Mitglieder der I. Strafkammer aus folgenden Gründen:
2.2.1 § 167 Abs. 1 des kantonalen Gerichtsverfassungsgesetzes vom 13. Juni 1976 verpflichte die Gerichte, alle Eingaben und Akten in der Reihenfolge ihres Eingangs in ein Aktenverzeichnis einzutragen. Diese Aktenführungspflicht sei das Gegenstück zum Akteneinsichts- und Beweisführungsrecht der Parteien. Das Schreiben von Oberrichter Marti vom 29. Juni 2010, das zu dessen Ausstand im Berufungsverfahren führte (vgl. BGE 137 I 227 E. 22 S. 230), der entsprechende Beschluss des Gesamtobergerichts vom 3. November 2010 (vgl. BGE 137 I 227 lit. A S. 228) und das Urteil des Bundesgerichts 1B_407/2010 vom 4. Mai 2011 (= BGE 137 I 227) seien in die Berufungsakten aufgenommen worden, weil es sich nicht um Akten eines anderen Verfahrens handle, sondern um Bestandteile dieses Berufungsverfahrens. Die I. Strafkammer sei lediglich ihrer Pflicht nachgekommen, alle Dokumente, die zur Sache gehörten, zu den Akten zu legen, ohne dadurch die am Berufungsverfahren mitwirkenden Gerichtspersonen beeinflussen zu wollen.
2.2.2 Eine Beeinflussung des Spruchkörpers durch das Schreiben von Oberrichter Marti vom 29. Juni 2010 sei sodann nicht ersichtlich. Auch wenn es sich dabei um die Meinung des Kammerpräsidenten handle, fühlten sich die anderen Mitglieder der Kammer daran nicht gebunden. Das Bundesgericht habe die Kritik des Beschwerdeführers bereits in BGE 137 I 227 E. 2.3-2.5 entkräftet, und es lägen auch im vorliegenden Verfahren keine Hinweise vor, dass die im Berufungsverfahren mitwirkenden Gerichtspersonen sich nicht eine eigene, unabhängige Meinung bilden würden.
2.2.3 Auch der Umstand, dass Oberrichter Bollinger im Rahmen des bundesgerichtlichen Verfahrens, welches zum BGE 137 I 227 führte, den Standpunkt der I. Strafkammer des Obergerichts vertreten habe, liessen diesen nicht als befangen erscheinen. Es sei in diesem Verfahren lediglich um die Ausstandsfragen gegangen, nicht jedoch um die Ausführungen zur Sach- und Rechtslage im Schreiben von Oberrichter Marti vom 29. Juni 2010. Die anderen Mitglieder der I. Strafkammer hätten sich zu den im genannten Schreiben angesprochenen materiellen Fragen nicht geäussert und sich dazu auch noch nicht festgelegt. Sie seien nach den Ausstandsbegehren des Beschwerdeführers verpflichtet gewesen, am Ablehnungsverfahren teilzunehmen. Daraus ergebe sich kein Anschein der Befangenheit im Berufungsverfahren.
2.2.4 Schliesslich gehe der Beschwerdeführer auch von der falschen Annahme aus, dass die beiden beisitzenden Gerichtspersonen (Oberrichter Volken und Brenn) von den Oberrichtern Marti oder Bollinger eingesetzt worden seien. Das System für die Besetzung des Spruchkörpers sei bereits im bundesgerichtlichen Verfahren 1B_407/2010 detailliert beschrieben und vom Bundesgericht unter den Gesichtspunkt der Befangenheit akzeptiert worden (BGE 137 I 227 E. 2.5 S. 231). An diesem Auswahlsystem habe sich nichts geändert, weshalb auch kein Anschein der Befangenheit der ausgewählten Gerichtspersonen vorliege.
2.3 Der Beschwerdeführer stützt sich im vorliegenden bundesgerichtlichen Beschwerdeverfahren im Wesentlichen auf dieselben Argumente, die er dem Obergericht vorgetragen hat. Diese sind indessen nicht geeignet, den Anschein der Befangenheit der abgelehnten Gerichtspersonen oder einen Verstoss gegen den Anspruch auf ein faires Verfahren zu begründen. Die Auseinandersetzung, welche zu BGE 137 I 227 führte, betrifft das hängige Berufungsverfahren, und es ist nicht ersichtlich, inwiefern sich die daran mitwirkenden Richter an die frühere Beurteilung der Sach- und Rechtslage durch den nunmehr in Ausstand getretenen Oberrichter Marti gebunden fühlen sollten. Die vom Beschwerdeführer verlangte separate Archivierung der Akten betreffend die Ausstandsfrage erscheint unter den vorliegenden Umständen jedenfalls nicht geboten. Auch liegen keine Anhaltspunkte vor, dass die Mitglieder der I. Strafkammer, die sich im ersten Ausstandsverfahren gegen sie im bundesgerichtlichen Verfahren ausführlich zur Ausstandsfrage äusserten, deswegen im Berufungsverfahren befangen sein sollten. Sie waren berechtigt, zur damaligen Beschwerde Stellung zu nehmen und haben sich dabei auf die Ausstandsfrage beschränkt. Daraus kann nicht abgeleitet werden, es bestehe der Anschein der Befangenheit in Bezug auf die materielle Beurteilung der Berufung. Soweit der Beschwerdeführer im Übrigen seine bereits im bundesgerichtlichen Verfahren 1B_407/2010 erhobene Kritik erneuert, kann diesbezüglich mit der Vorinstanz auf die Ausführungen in BGE 137 I 227 verwiesen werden. Die Erörterungen des Beschwerdeführers führen in Bezug auf die vorliegende Streitsache zu keiner anderen Beurteilung.
3. Die Beschwerde ist somit abzuweisen. Ausgangsgemäss sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG). Es sind keine Parteientschädigungen zuzusprechen (Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'500.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 11. Mai 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Haag