Sachverhalt: A. Rechtsanwalt Y._ vertrat als amtlicher Verteidiger X._ bis anfangs Dezember 2010 in zwei im Kanton Zug geführten Strafverfahren. Mit Eingabe vom 28. September 2010 erhob X._ Strafanzeige gegen ihn wegen mehrfacher Verletzung des Berufsgeheimnisses gemäss Art. 321 StGB und wegen mehrfacher Verletzung von Art. 13 des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (BGFA; SR 935.61). Die Staatsanwaltschaft eröffnete eine Strafuntersuchung und teilte dies der Aufsichtskommission über die Rechtsanwälte des Kantons Zug mit. Die Aufsichtskommission eröffnete daraufhin ein Disziplinarverfahren gegen Rechtsanwalt Y._. Mit Eingabe vom 25. Oktober 2010 stellte Rechtsanwalt Y._ beim Obergericht des Kantons Zug das Gesuch, er sei vom Berufsgeheimnis bzw. vom Anwaltsgeheimnis in Bezug auf sein Mandatsverhältnis zu X._ zu entbinden. Das Gesuch wurde zuständigkeitshalber der Zuger Aufsichtskommission über die Rechtsanwälte weitergeleitet und in der Folge von deren Präsident mit Verfügung vom 9. November 2010 teilweise gutgeheissen. Y._ wurde gegenüber X._ insoweit vom Anwaltsgeheimnis entbunden, als es die Wahrung seiner berechtigten Interessen im gegen ihn geführten Strafverfahren erforderte. Gegen diese Verfügung erhob X._ Beschwerde beim Obergericht des Kantons Zug. Mit Schreiben vom 29. November 2010 teilte das Obergericht X._ mit, Oberrichter Felix Ulrich sei Referent des Beschwerdeverfahrens. Am 6. Dezember 2010 stellte X._ gegen diesen ein Ausstandsgesuch, welches jedoch vom Obergericht mit Beschluss vom 14. Januar 2011 abgewiesen wurde. B. Mit einer als "Beschwerde in Strafsache" bezeichneten Eingabe vom 28. Januar 2011 an das Bundesgericht beantragt X._, der Beschluss des Obergerichts sei aufzuheben und das Ausstandsgesuch gutzuheissen. Oberrichter Felix Ulrich beantragt in seiner Vernehmlassung die Abweisung der Beschwerde. Das Obergericht des Kantons Zug schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei.