Sachverhalt:
A.
Gegen A._ wird ein Strafverfahren wegen Verbrechen gegen das Betäubungsmittelgesetz geführt. Im Berufungsverfahren erklärte Rechtsanwalt Daniel Walder mit Eingabe vom 5. März 2021 an die I. Strafkammer des Obergerichts des Kantons Zürich, den amtlich verteidigten A._ ergänzend als erbetener Verteidiger zu vertreten und reichte eine entsprechende Vollmacht ein. Hierauf widerrief Oberrichter Christian Prinz mit Präsidialverfügung vom 15. Juni 2021 die amtliche Verteidigung und entliess den amtlichen Verteidiger aus seinem Mandat. Auf die von A._ gegen diesen Entscheid erhobene Beschwerde trat das Bundesgericht nicht ein (vgl. Urteil 1B_407/2021 vom 28. Juli 2021 E. 2).
B.
Am 23. Juni 2021 stellte A._, vertreten durch Rechtsanwalt Daniel Walder, ein Ausstandsgesuch gegen Oberrichter Christian Prinz. Mit Beschluss vom 2. November 2021 wies die II. Strafkammer des Obergerichts des Kantons Zürich das Ausstandsgesuch gegen Oberrichter Christian Prinz ab (Dispositiv-Ziffer 1), setzte die Gerichtsgebühr auf Fr. 800.-- fest (Dispositiv-Ziffer 2) und auferlegte die Kosten A._ (Dispositiv-Ziffer 3).
Zwischenzeitlich ersuchte Rechtsanwalt Daniel Walder zudem um Einsetzung als amtlicher Verteidiger von A._, da dieser nicht über die erforderlichen Mittel für die Finanzierung der Wahlverteidigung verfüge. Oberrichter Christian Prinz hiess dieses Gesuch mit Präsidialverfügung vom 21. Oktober 2021 gut und setzte Rechtsanwalt Daniel Walder rückwirkend per 22. September 2021 als amtlichen Verteidiger von A._ ein.
C.
Mit Beschwerde in Strafsachen an das Bundesgericht vom 13. Dezember 2021 beantragt A._, die Dispositiv-Ziffern 1 und 3 des Beschlusses der II. Strafkammer des Obergerichts des Kantons Zürich vom 2. November 2021 aufzuheben und das Ausstandsgesuch gegen Oberrichter Christian Prinz gutzuheissen. Eventualiter seien die Dispositivziffern 1 und 3 des angefochtenen Beschlusses aufzuheben und die Sache im Sinne der Erwägungen an die Vorinstanz zur neuen Entscheidung zurückzuweisen.
Die Vorinstanz hat auf eine Vernehmlassung verzichtet. Der Beschwerdegegner hat sich mit Eingabe vom 3. Januar 2022 vernehmen lassen. Der Beschwerdeführer hat am 21. Januar 2022 repliziert.

Erwägungen:
1.
Beim angefochtenen Beschluss handelt es sich um einen selbstständig eröffneten Zwischenentscheid über ein Ausstandsbegehren in einer Strafsache (Art. 78 Abs. 1 und Art. 92 Abs. 1 BGG). Das Obergericht des Kantons Zürich hat als letzte und einzige kantonale Instanz entschieden (<ref-law> i.V.m. <ref-law>). Als beschuldigte Person ist der Beschwerdeführer gemäss Art. 81 Abs. 1 lit. a und b Ziff. 1 BGG zur Beschwerde legitimiert. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde grundsätzlich einzutreten.
2.
2.1.
Nach <ref-law> legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Abs. 1). Es kann diese Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Abs. 2). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (<ref-ruling> E. 1.5 mit Hinweis; Urteil 1B_72/ 2021 vom 9. April 2021 E. 2.1). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>). Eine entsprechende Rüge ist substantiiert vorzubringen (Art. 42 Abs. 2 i.V.m. <ref-law>; vgl. E. 2.3 hiernach).
Der Beschwerdeführer schildert in seiner Beschwerdeschrift die zu seinem Ausstandsgesuch führenden Ereignisse sowie den darauffolgenden Prozessverlauf aus seiner Sicht. Er begründet allerdings nicht substanziiert und es ist auch sonst nicht ersichtlich, inwiefern die Vorinstanz im genannten Zusammenhang den entscheidwesentlichen Sachverhalt willkürlich oder sonst im Sinne von <ref-law> rechtsfehlerhaft festgestellt haben soll. Sofern der Beschwerdeführer eine willkürliche Feststellung des rechtserheblichen Sachverhalts der Vorinstanz rügen will, dringt er damit jedenfalls nicht durch. Dem Urteil ist demnach der Sachverhalt zugrunde zu legen, den die Vorinstanz festgestellt hat.
3.
Der Beschwerdeführer rügt eine Verletzung der Bestimmungen über den Ausstand nach <ref-law> und der Garantie auf einen unparteiischen, unvoreingenommenen und unbefangenen Richter nach <ref-law> und Art. 6 Ziff. 1 EMRK.
3.1. Nach <ref-law>, Art. 6 Ziff. 1 EMRK hat jede Person Anspruch darauf, dass ihre Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Gericht ohne Einwirken sachfremder Umstände entschieden wird. Die Garantie des verfassungsmässigen Richters soll zu der für einen korrekten und fairen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung Gegebenheiten vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen. Solche Umstände können entweder in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein (<ref-ruling> E. 4.2.2 mit Hinweisen; Urteil 1B_240/2021 vom 8. Februar 2022 E. 3.1). Auf das bloss subjektive Empfinden einer Partei kann bei der Beurteilung nicht abgestellt werden. Der abgelehnte Richter muss nicht tatsächlich befangen sein; der Anschein der Befangenheit genügt (<ref-ruling> E. 5.2; <ref-ruling> E. 3.2.1; <ref-ruling> E. 5.1; je mit Hinweisen).
Die genannte verfassungs- bzw. konventionsrechtliche Garantie wird unter anderem in <ref-law> konkretisiert (<ref-ruling> E. 5.2 mit Hinweisen). Von den in Art. 56 lit. a bis e StPO geregelten besonderen Ausstandsgründen abgesehen (persönliches Interesse an der Strafsache, Vorbefassung in anderer Stellung, persönliche Beziehung zu Parteien usw.), tritt eine in einer Strafbehörde tätige Person in den Ausstand, wenn sie aus "anderen Gründen, insbesondere wegen Freundschaft oder Feindschaft mit einer Partei oder deren Rechtsbeistand, befangen sein könnte" (<ref-law>). Die Gerichte gehören zu den Strafbehörden (vgl. <ref-law>).
Bei der Anwendung von <ref-law> ist entscheidend, ob bei objektiver Betrachtungsweise der Ausgang des Verfahrens noch als offen erscheint. Wird der Ausstandsgrund aus materiellen oder prozessualen Rechtsfehlern abgeleitet, so sind diese nur wesentlich, wenn sie besonders krass sind oder wiederholt auftreten, sodass sie einer schweren Amtspflichtverletzung gleichkommen und sich einseitig zulasten einer der Prozessparteien auswirken; andernfalls begründen sie keinen hinreichenden Anschein der Befangenheit. Gegen beanstandete Verfahrenshandlungen sind ansonsten primär die zur Verfügung stehenden Rechtsmittel auszuschöpfen (Urteile 1B_497/2021 vom 24. Februar 2022 E. 3.1.2; 1B_227/2021 vom 17. August 2021 E. 2.1; je mit Hinweisen; vgl. auch <ref-ruling> E. 3.2; mit Hinweisen). Im blossen Umstand, dass eine Partei des Strafverfahrens in dessen Verlaufe eine Strafanzeige gegen ein Mitglied einer Strafbehörde einreicht, liegt kein Ausstandsgrund. Denn andernfalls könnte die Partei missliebige Mitglieder einer Strafbehörde allein durch Einreichen einer Strafanzeige aus dem Verfahren hinausdrängen (vgl. <ref-ruling> E. 4.3.2; Urteil 1B_368/2021 vom 22. September 2021 E. 2.1 mit Hinweis). Ein Ausstandsgrund ist hingegen zu bejahen, wenn das Mitglied der Strafbehörde aufgrund der gegen ihn eingereichten Strafanzeige einer Partei eines Strafverfahrens mit einem Strafantrag wegen übler Nachrede (vgl. <ref-law>), mit der Geltendmachung zivilrechtlicher Ansprüche auf Ersatz immateriellen Schadens aufgrund einer Persönlichkeitsverletzung (vgl. <ref-law> und <ref-law>) oder auf sonstige Weise in einer Art reagiert, die deutlich macht, dass es nicht mehr die notwendige Distanz gegenüber der Partei zu wahren vermag (vgl. <ref-ruling> E. 4.3.2; Urteil 1B_335/2021 vom 15. September 2021 E. 3.4).
3.2. Der Beschwerdeführer macht geltend, der Beschwerdegegner habe seine Verteidigung gezielt geschwächt, indem er ihm das Recht auf zwei Verteidiger verwehrt und damit insbesondere <ref-law>, <ref-law> und Art. 6 Ziff. 1 und Art. 6 Ziff. 3 lit. c EMRK verletzt habe. Die angefochtene Verfügung laufe auch der im Kanton Zürich gelebten Praxis, wonach eine erbetene Verteidigung neben der amtlichen Verteidigung zugelassen werde, wenn die erbetene Verteidigung einzig ergänzend tätig sei, zuwider. Die Entlassung des amtlichen Verteidigers sei deshalb ein "offen feindseliger Akt" im Sinne von <ref-law>. Weiter habe der Beschwerdegegner <ref-law> verletzt, indem er die notwendige Verteidigung des Beschwerdeführers nicht gewährleistet habe. Der Beschwerdegegner hätte, nach Auffassung des Beschwerdeführers, vor Entlassung des amtlichen Verteidigers von Amtes wegen abklären müssen, ob er die Finanzierung der notwendigen Verteidigung sicherstellen könne. Schliesslich sei der Beschwerdegegner auch hinsichtlich Rechtsanwalt Daniel Walder befangen, da er diesen "quasi" dazu gezwungen habe, seine Verteidigung "gratis" zu übernehmen. Die spätere Einsetzung als amtlicher Verteidiger habe zur Folge gehabt, dass Rechtsanwalt Daniel Walder zu amtlichen Ansätzen habe arbeiten müssen, wohingegen ihm davor das höhere Honorar einer erbetenen Verteidigung zugestanden habe. Rechtsanwalt Daniel Walder habe deshalb Strafanzeige gegen den Beschwerdegegner wegen versuchter Nötigung und versuchten Amtsmissbrauchs erhoben.
3.3. Die Vorinstanz hat festgehalten, dass sich der Beschwerdegegner mit Präsidialverfügung vom 15. Juni 2021 nicht zum materiellen Inhalt der Berufung des Beschwerdeführers geäussert habe und deshalb nicht der Anschein bestehe, dass er sich in einem Mass festgelegt habe, dass das Berufungsverfahren nicht mehr offen erscheine. Eine schwere Verletzung der Richterpflichten, welche auf die Voreingenommenheit des Beschwerdegegners schliessen lassen würde, sei auch nicht ersichtlich; die notwendige Verteidigung des Beschwerdeführers ist nach Auffassung der Vorinstanz durch die Mandatierung des erbetenen Verteidigers, Rechtsanwalt Daniel Walder, gewährleistet gewesen. Die Vorinstanz hielt auch die Vorwürfe, wonach der Beschwerdegegner mutmassliche Straftaten begangen habe, für unbegründet.
3.4. Eine beschuldigte Person muss unter anderem dann zwingend verteidigt werden, wenn die Untersuchungshaft einschliesslich einer vorläufigen Festnahme mehr als 10 Tage gedauert hat (<ref-law>) oder ihr eine Freiheitsstrafe von mehr als einem Jahr, eine freiheitsentziehende Massnahme oder eine Landesverweisung droht (<ref-law>; sog. "notwendige Verteidigung"). Bei notwendiger Verteidigung ordnet die Verfahrensleitung eine amtliche Verteidigung an, wenn die beschuldigte Person trotz Aufforderung der Verfahrensleitung keine Wahlverteidigung bestimmt oder der Wahlverteidigung das Mandat entzogen wurde oder sie es niedergelegt hat und die beschuldigte Person nicht innert Frist eine neue Wahlverteidigung bestimmt (<ref-law>). Fällt der Grund für die amtliche Verteidigung dahin, so widerruft die Verfahrensleitung das Mandat (<ref-law>).
Die beschuldigte Person kann im Strafverfahren zur Wahrung ihrer Interessen grundsätzlich einen Rechtsbeistand ihrer Wahl bestellen (Art. 127 Abs. 1 und Art. 129 Abs. 1 StPO, <ref-law>, Art. 6 Ziff. 3 lit. c EMRK sowie Art. 14 Abs. 3 UNO-Pakt II; <ref-ruling> E. 1.2.1). Sie kann zwei oder mehrere Personen als Rechtsbeistand beiziehen, soweit dadurch das Verfahren nicht ungebührlich verzögert wird (vgl. <ref-law>). Die beschuldigte Person hat insbesondere das Recht, sich zusätzlich zur amtlichen Verteidigung auch noch durch eine erbetene private Verteidigung vertreten zu lassen und diese dafür zu entschädigen (Urteil 1B_424/2020 vom 15. Dezember 2020 E. 2.3 mit Hinweisen). In der Regel entfällt damit jedoch das Erfordernis der amtlichen Verteidigung (Art. 134 Abs. 1 i.V.m. Art. 132 Abs. 1 lit. a Ziff. 1 StPO; Urteil 1B_424/2020 vom 15. Dezember 2020 E. 2.3 mit Hinweisen). Die beschuldigte Person hat das Recht, sich zur Sache zu äussern, bevor hierüber ein Entscheid getroffen wird (vgl. <ref-law>, Art. 3 Abs. 2 lit. c und Art. 107 Abs. 1 StPO; vgl. Urteil 1B_424/2020 vom 15. Dezember 2020 E. 2.6).
Die gleichzeitige Verteidigung durch eine amtliche und eine Wahlverteidigung ist demnach nicht ausgeschlossen. Es kann beispielsweise zulässig und geboten sein, eine amtliche Verteidigung zusätzlich zu einer bereits bestehenden Wahlverteidigung zu bestellen, wenn eine beschuldigte Person durch die ständige Bestellung und Abberufung von Rechtsbeiständen versucht, das Strafverfahren zu verschleppen (Urteile 1B_424/2020 vom 15. Dezember 2020 E. 2.3; 6B_744/2017 vom 27. Februar 2018 E. 1.4; je mit Hinweisen). Ähnliche Überlegungen gelten, wenn fraglich ist, ob die Finanzierung und damit das Fortbestehen der Wahlverteidigung mindestens bis zum Abschluss des erstinstanzlichen Verfahrens gewährleistet ist, zumal wenn die vorangehende Einsetzung einer amtlichen Verteidigung auf der Mittellosigkeit der beschuldigten Person beruhte (vgl. <ref-law>; Urteile 6B_178/2021 vom 24. Februar 2022 E. 1.3.3; 1B_424/2020 vom 15. Dezember 2020 E. 2.3; Urteil 1B_152/2020 vom 28. Mai 2020 E. 2.1). Schliesslich ist es auch nicht ausgeschlossen, dass die Wahlverteidigung die amtliche Verteidigung unentgeltlich unterstützt (Urteile 1B_424/2020 vom 15. Dezember 2020 E. 2.3; 6B_744/2017 vom 27. Februar 2018 E. 1.4; je mit Hinweisen).
3.5. Der Beschwerdeführer behauptet nicht, dem Beschwerdegegner seien wiederholt Rechtsfehler unterlaufen. Fraglich ist daher einzig, ob die Entlassung der amtlichen Verteidigung als besonders krasse Fehlleistung und damit als schwere Pflichtverletzung zu werten ist. Wie die Vorinstanz zutreffend festgehalten hat, ist dies nicht der Fall. Die Entlassung der amtlichen Verteidigung nach Mandatierung einer Wahlverteidigung bildet nach der bundesgerichtlichen Rechtsprechung den Regelfall. Der Beschwerdeführer behauptet nicht, dass ein Ausnahmefall vorliegen würde, sondern lediglich, dass die "Zürcher Praxis" die Beibehaltung des amtlichen Verteidigers zugelassen hätte. Insbesondere macht der Beschwerdeführer nicht geltend, dass die Beibehaltung der amtlichen Verteidigung zur Verhinderung der Verfahrensverschleppung geboten gewesen wäre oder dass die Wahlverteidigung die amtliche Verteidigung unentgeltlich habe unterstützen wollen. Unter diesen Umständen kann offen bleiben, ob die "Zürcher Praxis" die Beibehaltung der amtlichen Verteidigung zugelassen hätte. In der Entlassung der amtlichen Verteidigung trotz des Hinweises der Wahlverteidigung, sie wolle den Beschwerdeführer nur ergänzend verteidigen, ist jedenfalls kein besonders krasser Rechtsfehler zu erblicken.
Entgegen der Auffassung des Beschwerdeführers ist auch die Feststellung der Vorinstanz, die notwendige Verteidigung sei gewährleistet gewesen, nicht zu beanstanden. Der Beschwerdeführer weist zwar darauf hin, dass der Beschwerdegegner sich vor Entlassung der amtlichen Verteidigung offenbar nicht vergewissert habe, dass die Finanzierung der Wahlverteidigung und damit die notwendige Verteidigung gewährleistet ist. Die Frage kann aber offen gelassen werden, da aus den Akten hervorgeht, dass der Beschwerdegegner den Parteien zumindest Gelegenheit gegeben hat, sich vor Entlassung der amtlichen Verteidigung zur Frage der "Mehrfachverteidigung" zu äussern (vgl. Vorakten, act. 3/61). Die Wahlverteidigung hat dem Beschwerdegegner hierauf nicht mitgeteilt, dass der Beschwerdeführer nicht in der Lage wäre, die Wahlverteidigung zu finanzieren oder dass diese nicht in der Lage wäre, ihn umfassend zu verteidigen (vgl. Vorakten, act. 3/67). Letzteres ist auch sonst nicht ersichtlich. Der Beschwerdegegner hat in der Folge Rechtsanwalt Daniel Walder auf dessen Ersuchen hin auch als amtlichen Verteidiger des Beschwerdeführers eingesetzt. Dem Beschwerdegegner kann vor diesem Hintergrund jedenfalls nicht vorgeworfen werden, er habe das Recht des Beschwerdeführers auf notwendige Verteidigung in einer Weise verletzt, die einer Amtspflichtverletzung gleichkäme.
Schliesslich ist entgegen der Auffassung des Beschwerdeführers auch keine Befangenheit gegenüber seinem Rechtsanwalt ersichtlich. Nach der bundesgerichtlichen Rechtsprechung begründet der Umstand, dass der Rechtsanwalt des Beschwerdeführers eine Strafanzeige gegen den Beschwerdegegner eingereicht hat, nämlich keinen Ausstandsgrund.
Die Vorinstanz hat keine Rechtsverletzung im Sinne von <ref-law> begangen, indem sie zum Schluss gekommen ist, dass keine Anzeichen dafür bestünden, dass der Beschwerdegegner im laufenden Berufungsverfahren befangen sein könnte und das Ausstandsbegehren des Beschwerdeführers deshalb abgewiesen hat.
4.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
Bei diesem Ausgang des Verfahrens würde der Beschwerdeführer an sich kostenpflichtig. Er beantragt jedoch die unentgeltliche Rechts pflege inklusive Verbeiständung. Dem Gesuch kann entsprochen wer den, da der Beschwerdeführer glaubhaft dargelegt hat, dasser bedürftig ist und die Beschwerde jedenfalls nicht von vornherein aussichtslos erscheint (vgl. Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen:
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwalt Daniel Walder wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 2'000.-- entschädigt.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Beschwerdegegner und dem Obergericht des Kantons Zürich, II. Strafkammer, schriftlich mitgeteilt.
Lausanne, 31. März 2022
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Kern