Sachverhalt: A. X._ wurde vom Bezirksgericht Zürich mit Urteil vom 13. Januar 2010 mehrerer Vermögensdelikte für schuldig befunden und zu einer bedingten Freiheitsstrafe von 17 Monaten und 15 Tagen verurteilt. Der Verurteilte gelangte gegen dieses Urteil mit Berufung an das Obergericht des Kantons Zürich. Dieses räumte dem amtlichen Verteidiger von X._ eine Frist ein, um allfällige Beweisanträge zu stellen und zu begründen, worauf dieser mit Eingabe vom 14. Juni 2010 Beweisanträge stellte. In der Folge schrieb der Vorsitzende der I. Strafkammer des Obergerichts, Vizepräsident Peter Marti, am 29. Juni 2010 dem Verteidiger einen Brief, worin er eine Beurteilung der Sach- und Rechtslage abgab und den Verteidiger ersuchte, mit seinem Klienten ernsthaft einen Rückzug der Berufung wegen schlechter Erfolgsaussichten zu diskutieren. Der Verteidiger antwortete mit Schreiben vom 23. August 2010, dass an der Berufung festgehalten werde. Mit Schreiben vom 24. August 2010 teilte Oberrichter Marti dem Verteidiger mit, dass er die Aufrechterhaltung der Berufung zur Kenntnis nehme und am weiteren Verfahren nicht mitwirken werde. Mit Eingabe vom 26. August 2010 stellte X._ den Antrag, dass der Vorsitzende sowie sämtliche Mitglieder der I. Strafkammer des Obergerichts im Berufungsverfahren wegen des Anscheins der Befangenheit in den Ausstand zu treten haben. Die Mitglieder und Ersatzmitglieder der I. Strafkammer gaben - mit Ausnahme von Oberrichter Marti - gewissenhafte Erklärungen ab, dass sie nicht befangen seien. Mit Beschluss vom 3. November 2010 bewilligte das Gesamtgericht des Obergerichts ohne Mitwirkung der Mitglieder der I. Strafkammer den Ausstand von Oberrichter Marti für das Berufungsverfahren. Das Ablehnungsbegehren gegen die übrigen Mitglieder und Ersatzmitglieder der I. Strafkammer wies es ab. B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 8. Dezember 2010 beantragt X._, der Beschluss des Gesamtgerichts des Obergerichts vom 3. November 2010 sei aufzuheben. Sämtliche Mitglieder der I. Strafkammer des Obergerichts seien wegen Befangenheit oder des Anscheins der Befangenheit in den Ausstand zu versetzen. Er rügt die Verletzung des Anspruchs auf ein unabhängiges und unparteiisches Gericht (Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK) sowie des Anspruchs auf ein faires Verfahren (Art. 29 BV). Zur Begründung beruft er sich auf BGE 134 I 238, worin die Unzulässigkeit eines ähnlichen Vorgehens wie es Oberrichter Marti gegenüber dem Verteidiger praktiziert habe, festgehalten worden sei. Die übrigen Mitglieder der I. Strafkammer billigten das verfassungswidrige Verhalten ihres Vorsitzenden, weshalb auch bei ihnen der Anschein der Befangenheit bestehe. Das Obergericht und die Staatsanwaltschaft III des Kantons Zürich verzichten auf eine Vernehmlassung. Die Mitglieder der I. Strafkammer (ausser Oberrichter Marti) halten mit ausführlicher Stellungnahme fest, dass sie nicht befangen seien, und beantragen die Abweisung der Beschwerde. Der Beschwerdeführer hält mit Schreiben vom 7. Februar 2011 an seinem Standpunkt fest. Die I. Strafkammer hat sich dazu am 15. März 2011 geäussert.