Sachverhalt:
A. Rechtsanwalt Y._, A._, vertrat als amtlicher Verteidiger X._ bis Dezember 2010 in zwei Strafverfahren. Am 28. September 2010 reichte X._ gegen Y._ eine Strafanzeige ein wegen Verletzung des Berufsgeheimnisses (<ref-law> und <ref-law>). Die Staatsanwaltschaft des Kantons Zug eröffnete eine Strafuntersuchung und teilte dies der kantonalen Aufsichtskommission über die Rechtsanwälte mit, welche ihrerseits ein Disziplinarverfahren anhob.
Die Aufsichtskommission über die Rechtsanwälte hiess ein Gesuch von Y._ um Entbindung vom Anwaltsgeheimnis insoweit gut, als dessen Offenbarung zur Wahrung der berechtigten Interessen des Anwalts vor der Staatsanwaltschaft des Kantons Zug erforderlich sei. Die von X._ dagegen erhobene Beschwerde wies das Obergericht des Kantons Zug am 12. Mai 2011 ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht, das erwähnte Urteil des Obergerichts des Kantons Zug aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die kantonale Aufsichtskommission über die Rechtsanwälte und das Obergericht des Kantons Zug sowie Y._ beantragen, die Beschwerde abzuweisen.

Erwägungen:
1. Das Bundesgesetz vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) regelt die Berufspflichten abschliessend. Es bildet Teil des Bundesverwaltungsrechts, weshalb der - kantonal letztinstanzliche - Obergerichtsentscheid betreffend die Entbindung des Beschwerdegegners vom Anwaltsgeheimnis (vgl. <ref-law>) mit Beschwerde in öffentlich-rechtlichen Angelegenheiten angefochten werden kann (Art. 82 lit. a in Verbindung mit Art. 86 Abs. 1 lit. d und Art. 90 BGG).
2. 2.1 Der Beschwerdeführer rügt eine Verletzung des Willkürverbotes (<ref-law>). Diese erblickt er darin, dass die Vorinstanz es unterlassen habe, eine rechtsgenügende Güterabwägung vorzunehmen.
2.2 Die Rechtsanwälte unterstehen zeitlich unbegrenzt und gegenüber jedermann dem Berufsgeheimnis über alles, was ihnen infolge ihres Berufs von ihrer Klientschaft anvertraut worden ist (<ref-law>; vgl. auch <ref-law>). Verweigert der Mandant die Entbindung vom Anwaltsgeheimnis, so kann sich der Rechtsanwalt mit einem Gesuch an die Aufsichtsbehörde wenden. Der Entbindungsentscheid hat keinerlei materielle Rechtswirkungen, sondern ermöglicht es dem gesuchstellenden Anwalt bloss, sich ohne Verletzung des disziplinar- und strafrechtlich geschützten Berufsgeheimnisses gegen die hier in Frage stehende Strafanzeige zur Wehr zu setzen. Die einzige unmittelbare Rechtswirkung, welche der Entbindungsentscheid für den betroffenen Mandanten hat, liegt darin, dass dieser in jenem Umfang, in dem es für die Abwendung einer ungerechtfertigten Strafverfolgung notwendig ist, des ihm ansonsten zustehenden Schutzes durch das Anwaltsgeheimnis verlustig geht. Zu verweigern ist eine verlangte Entbindung nur dann, wenn die Klientschaft ihrerseits ein höherrangiges Interesse an der Geheimhaltung des Mandatsverhältnisses hat (vgl. Urteil 2C_508/2007 vom 27. Mai 2008 E. 2).
Der Rechtsanwalt kann sich somit grundsätzlich von der Schweigepflicht entbinden lassen, wenn seine persönlichen Interessen an der Bekanntgabe jene des Auftraggebers an der Geheimhaltung derart überwiegen, dass die Schweigepflicht nicht mehr zumutbar ist. Die Schweigepflicht ist insbesondere unzumutbar, wenn sie den Rechtsanwalt daran hindert, sich in einem gegen ihn geführten Straf- oder Disziplinarverfahren zu verteidigen, Angriffe gegen seine Ehre zurückzuweisen oder einen ungerechtfertigten erheblichen Vermögensnachteil abzuwenden (vgl. Art. 38 des bernischen Anwaltsgesetzes vom 28. März 2006; vgl. Urteil 2P.313/1999 vom 8. März 2000 E. 2b).
2.3 Auch in der Lehre ist anerkannt, dass die Entbindung zu gewähren ist, wenn der Klient gegen den Anwalt ein Strafverfahren eingeleitet hat; die Verschwiegenheitspflicht entfällt indessen nur soweit, wie es zur Verteidigung des Anwalts erforderlich ist (vgl. CHRISTOF BERNHART, Die professionellen Standards des Rechtsanwalts, 2. Aufl. 2011, S. 168; HANS NATER/GAUDENZ G. ZINDEL, in: Kommentar zum Anwaltsgesetz, Hrsg. Walter Fellmann/Gaudenz G. Zindel, 2011, N. 168 zu <ref-law>; KASPAR SCHILLER, Schweizerisches Anwaltsrecht, 2009, N. 660; FRANÇOIS BOHNET/VINCENT MARTENET, Droit de la profession d'avocat, 2009, N. 1927).
2.4 Indem der Beschwerdeführer einerseits gegen Y._ eine Strafanzeige wegen Verletzung des Berufsgeheimnisses eingereicht hat und sich andererseits einer Entbindung vom Berufsgeheimnis widersetzt, verhält er sich offensichtlich rechtsmissbräuchlich. Denn mit seiner Anzeige hat er konkludent auf die Wahrung des Berufsgeheimnisses verzichtet, soweit es die Verteidigung des Anwalts erfordert. Besondere Gründe, die es unter diesen Umständen erlauben würden, von einer Entbindung vom Berufsgeheimnis abzusehen, bringt der Beschwerdeführer nicht vor. Namentlich hätte er mit der Strafanzeige zuwarten können, um das allfällige Bekanntwerden von für ihn strafrechtlich nachteiligen Tatsachen zu verhindern. Inwieweit dies zu befürchten sei, ist nicht ersichtlich, nachdem die Entbindung ausdrücklich nur soweit gewährt worden ist, als dies zur eigenen Verteidigung des angezeigten Anwalts notwendig ist. Die Vorinstanz durfte daher ohne Willkür die von der Aufsichtskommission gewährte Entbindung vom Berufsgeheimnis schützen.
3. Die Beschwerde ist aus diesen Gründen abzuweisen. Da sich die gestellten Rechtsbegehren als von vornherein aussichtslos erwiesen haben, ist dem Beschwerdeführer die unentgeltliche Rechtspflege und Verbeiständung nicht zu gewähren (<ref-law>). Entsprechend dem Ausgang hat der Beschwerdeführer die Kosten des Verfahrens vor Bundesgericht zu tragen (<ref-law>); der offenkundigen Bedürftigkeit des Beschwerdeführers wird bei der Bemessung der Gerichtsgebühr Rechnung getragen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um Gewährung der unentgeltlichen Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Verfahrensbeteiligten und dem Obergericht des Kantons Zug schriftlich mitgeteilt.
Lausanne, 21. September 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Zünd
Der Gerichtsschreiber: Küng