Sachverhalt:
A. Rechtsanwalt Y._ vertrat als amtlicher Verteidiger X._ bis anfangs Dezember 2010 in zwei im Kanton Zug geführten Strafverfahren. Mit Eingabe vom 28. September 2010 erhob X._ Strafanzeige gegen ihn wegen mehrfacher Verletzung des Berufsgeheimnisses gemäss Art. 321 StGB und wegen mehrfacher Verletzung von Art. 13 des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (BGFA; SR 935.61). Die Staatsanwaltschaft eröffnete eine Strafuntersuchung und teilte dies der Aufsichtskommission über die Rechtsanwälte des Kantons Zug mit. Die Aufsichtskommission eröffnete daraufhin ein Disziplinarverfahren gegen Rechtsanwalt Y._.
Mit Eingabe vom 25. Oktober 2010 stellte Rechtsanwalt Y._ beim Obergericht des Kantons Zug das Gesuch, er sei vom Berufsgeheimnis bzw. vom Anwaltsgeheimnis in Bezug auf sein Mandatsverhältnis zu X._ zu entbinden. Das Gesuch wurde zuständigkeitshalber der Zuger Aufsichtskommission über die Rechtsanwälte weitergeleitet und in der Folge von deren Präsident mit Verfügung vom 9. November 2010 teilweise gutgeheissen. Y._ wurde gegenüber X._ insoweit vom Anwaltsgeheimnis entbunden, als es die Wahrung seiner berechtigten Interessen im gegen ihn geführten Strafverfahren erforderte. Gegen diese Verfügung erhob X._ Beschwerde beim Obergericht des Kantons Zug.
Mit Schreiben vom 29. November 2010 teilte das Obergericht X._ mit, Oberrichter Felix Ulrich sei Referent des Beschwerdeverfahrens. Am 6. Dezember 2010 stellte X._ gegen diesen ein Ausstandsgesuch, welches jedoch vom Obergericht mit Beschluss vom 14. Januar 2011 abgewiesen wurde.
B. Mit einer als "Beschwerde in Strafsache" bezeichneten Eingabe vom 28. Januar 2011 an das Bundesgericht beantragt X._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen.
Oberrichter Felix Ulrich beantragt in seiner Vernehmlassung die Abweisung der Beschwerde. Das Obergericht des Kantons Zug schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1. Der angefochtene Entscheid ist ein selbstständig eröffneter Zwischenentscheid über ein Ausstandsbegehren (Art. 92 BGG). Zugrunde liegt ein Verfahren betreffend die Entbindung vom Anwaltsgeheimnis nach Art. 13 Abs. 1 BGFA. Dabei handelt es sich um öffentliches Recht (Urteil 2C_508/2007 vom 27. Mai 2008 E. 1.1). Das zutreffende Rechtsmittel ist deshalb die Beschwerde in öffentlich-rechtlichen Angelegenheiten nach Art. 82 ff. BGG, nicht die Beschwerde in Strafsachen nach Art. 79 ff. BGG. Die falsche Bezeichnung des Rechtsmittels schadet dem Beschwerdeführer indessen nicht (<ref-ruling> E. 1.2 S. 382; <ref-ruling> E. 3.1 S. 399; je mit Hinweisen). Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist einzutreten.
2. 2.1 Der Beschwerdeführer stellt sich auf den Standpunkt, die Vorinstanz habe sein Ausstandsgesuch zu Unrecht abgelehnt und dadurch Art. 30 Abs. 1 BV sowie Art. 6 Ziff. 1 EMRK verletzt. Am 5. August 2010 habe er ein Gesuch um Wechsel seines amtlichen Strafverteidigers gestellt. Am 19. August 2010 habe Oberrichter Felix Ulrich, der im betreffenden Strafverfahren Referent gewesen sei, telefonisch mit ihm Kontakt aufgenommen und ihm nahegelegt, das Gesuch zurückzuziehen, da es chancenlos sei. Trotzdem habe er sein Gesuch aufrechterhalten. Am 20. August 2010 habe es Oberrichter Felix Ulrich abgewiesen. Aufgrund dieses Fehlverhaltens könne er im Verfahren über die Entbindung vom Anwaltsgeheimnis nicht mehr davon ausgehen, dass Oberrichter Felix Ulrich seine Beschwerde unvoreingenommen beurteile, insbesondere auch deshalb nicht, weil die beiden Verfahren zusammenhingen.
2.2 Das Obergericht hielt mit Blick auf die Abweisung des Gesuchs um Wechsel des amtlichen Verteidigers fest, dass ein möglicherweise falscher Entscheid in der Regel noch keinen Anschein der Befangenheit begründe. Zudem stehe die nun zu beurteilende Frage über die Entbindung vom Anwaltsgeheimnis nicht im Zusammenhang mit dem damaligen Entscheid.
2.2 Das Obergericht hielt mit Blick auf die Abweisung des Gesuchs um Wechsel des amtlichen Verteidigers fest, dass ein möglicherweise falscher Entscheid in der Regel noch keinen Anschein der Befangenheit begründe. Zudem stehe die nun zu beurteilende Frage über die Entbindung vom Anwaltsgeheimnis nicht im Zusammenhang mit dem damaligen Entscheid.
2.3 2.3.1 Nach Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK, denen in dieser Hinsicht dieselbe Tragweite zukommt, hat der Einzelne Anspruch darauf, dass seine Sache von einem unparteiischen, unvoreingenommenen und unbefangenen Richter ohne Einwirken sachfremder Umstände entschieden wird. Ob diese Garantien verletzt sind, prüft das Bundesgericht frei. Voreingenommenheit und Befangenheit werden nach der Rechtsprechung angenommen, wenn Umstände vorliegen, die bei objektiver Betrachtung geeignet sind, Misstrauen in die Unparteilichkeit des Richters zu erwecken. Solche Umstände können entweder in einem bestimmten Verhalten des betreffenden Richters oder in gewissen äusseren Gegebenheiten funktioneller und organisatorischer Natur begründet sein. Letzteres betrifft vor allem Konstellationen einer Vorbefassung des Richters. Bei der Beurteilung solcher Umstände ist nicht auf das subjektive Empfinden einer Partei abzustellen. Das Misstrauen in die Unvoreingenommenheit muss vielmehr in objektiver Weise begründet erscheinen. Es genügt, wenn Umstände vorliegen, die bei objektiver Betrachtung den Anschein der Befangenheit und Voreingenommenheit erwecken. Für die Ablehnung wird nicht verlangt, dass der Richter tatsächlich befangen ist (<ref-ruling> E. 3.1 S. 210 mit Hinweisen).
2.3.2 Oberrichter Felix Ulrich führte in seiner Vernehmlassung vom 22. Dezember 2010 im vorinstanzlichen Verfahren aus, es sei richtig, dass er den Beschwerdeführer vor Erlass der Referentenverfügung vom 20. August 2010 telefonisch auf die Aussichtslosigkeit seines Begehrens um Wechsel des amtlichen Verteidigers hingewiesen habe, um damit allenfalls den Erlass dieser für den Gesuchsteller mit Kosten verbundenen Verfügung zu vermeiden. Diese Aussage wird im angefochtenen Beschluss nicht erwähnt, obwohl das besagte Telefonat vom Beschwerdeführer bereits im vorinstanzlichen Verfahren beanstandet worden war. Da sie sich aus den Verfahrensakten ergibt, kann sie vom Bundesgericht ohne Weiteres berücksichtigt und die Sachverhaltsfeststellung des Obergerichts insofern ergänzt werden (Art. 105 Abs. 2 BGG; <ref-ruling> E. 1.5 S. 129 f.; zur Publ. bestimmtes Urteil 1C_285/2009 vom 8. September 2010 E. 1.2; je mit Hinweisen).
Inwiefern ein Richter den Anschein der Voreingenommenheit und Befangenheit auf sich zieht, wenn er einer Partei seine (vorläufige) Einschätzung der Prozesslage mitteilt, hat das Bundesgericht in <ref-ruling> ausführlich erörtert. Danach ist insbesondere zu berücksichtigen, in welchem Verfahrensstadium und gegenüber wem (der Partei selber oder ihrem Rechtsvertreter) die Mitteilung erfolgt und von wem die Initiative ausgeht. Nicht zulässig ist es, offen oder versteckt Druck auszuüben, damit das Rechtsmittel zurückgezogen wird. Nicht jede Mitteilung einer vorläufigen Einschätzung der Prozessaussichten führt damit zum Anschein der Befangenheit, doch gebietet der Anspruch auf einen unbefangenen Richter grosse Zurückhaltung (a.a.O., insbes. E. 2.4 S. 242 ff. mit Hinweisen).
2.3.3 Wie das Telefonat vor diesem Hintergrund zu beurteilen ist, kann offen gelassen werden. Von entscheidender Bedeutung ist, dass die bei jenem Anlass von Oberrichter Felix Ulrich gemachten Äusserungen den Anspruch des Beschwerdeführers auf Wechsel seines Verteidigers und nicht die vorliegend umstrittene Entbindung vom Anwaltsgeheimnis betreffen. Auch wenn hinsichtlich der ersten Frage von einem prozessualen Fehler und von einem inhaltlich falschen Entscheid auszugehen wäre, so würde dies für die zweite Frage nicht automatisch den Anschein der Voreingenommenheit erwecken. Solches wäre etwa denkbar, wenn der betreffende Richter durch besonders krasse oder wiederholte Irrtümer den Vorwurf der Parteilichkeit auf sich ziehen würde (<ref-ruling> E. 3b S. 404 mit Hinweisen). Der Beschwerdeführer macht indessen keine weiteren, auf eine Voreingenommenheit hindeutende Umstände geltend. Deshalb kann nicht gesagt werden, das Verfahren erscheine in Bezug auf die Mitwirkung von Oberrichter Felix Ulrich nicht mehr offen. Die Rüge der Verletzung von Art. 30 Abs. 1 BV und Art. 6 Ziff. 1 EMRK ist unbegründet.
3. Die Beschwerde ist nach dem Gesagten abzuweisen. Der nicht anwaltlich vertretene Beschwerdeführer stellt ein Gesuch um unentgeltliche Prozessführung. Dem Gesuch ist insoweit zu entsprechen, als keine Gerichtskosten aufzuerlegen sind. Indessen erübrigt es sich, einen unentgeltlichen Rechtsbeistand zu ernennen, denn der Beschwerdeführer hat die Beschwerde ohne anwaltliche Vertretung erhoben (Art. 64 BGG). Der Beschwerdeführer hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird teilweise gutgeheissen. Es werden keine Kosten erhoben. Im Übrigen wird das Gesuch abgewiesen.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird dem Beschwerdeführer, Felix Ulrich und dem Obergericht des Kantons Zug, II. Beschwerdeabteilung, schriftlich mitgeteilt.
Lausanne, 16. Februar 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Fonjallaz Dold