Erwägungen:
1. Der Beschwerdeführer war am 19. August 2011 durch einen Arzt des Kantonsspitals Aarau im Rahmen fürsorgerischer Freiheitsentziehung "vorläufig" in die Psychiatrische Klinik A._, Kanton Zug, eingewiesen worden. Dort verfügte ein Arzt dieser Klinik am 24. August 2011 die (definitive) fürsorgerische Freiheitsentziehung.
1.1 Der anwaltlich verbeiständete Beschwerdeführer gelangte dagegen am 26. August 2011 an das Landgerichtspräsidium Ursern (Kanton Uri; angeblicher Wohnsitz des Beschwerdeführers) und verlangte die Entlassung aus der Anstalt sowie die Bestellung eines amtlichen Anwalts. Das Landgerichtspräsidium trat mit Beschluss vom 30. August 2011 auf die Beschwerde nicht ein und überwies sie zuständigkeitshalber an das Verwaltungsgericht des Kantons Aargau. Es hielt dafür, auch wenn der Beschwerdeführer seine Schriften noch nicht von B._, Kanton Uri, nach C._, Kanton Aargau, verlegt habe, habe er doch seinen Wohnsitz mit der Absicht dauernden Verbleibens von B._ nach C._ verlegt, womit das Verwaltungsgericht des Kantons Aargau zur Überprüfung der fürsorgerischen Freiheitsentziehung zuständig sei. Der Beschluss des Landgerichtspräsidiums Ursern wurde beim Obergericht des Kantons Uri (OG Z 11 14) angefochten. Der Beschwerdeführer ist am 29. August 2011 aus der Klinik entlassen worden.
1.2 Das Verwaltungsgericht des Kantons Aargau, an welches die Beschwerde überwiesen worden war, trat mit Beschluss vom 1. September 2011 darauf nicht ein und überwies sie an das Verwaltungsgericht des Kantons Zug, wo am 24. August 2011 die Zurückbehaltung des Beschwerdeführers durch den Arzt der Psychiatrischen Klinik A._ erfolgt war. Es ging davon aus, im interkantonalen Verhältnis richte sich die Zuständigkeit nach dem Aufenthalt des Betroffenen.
1.3 Das Verwaltungsgericht des Kantons Zug schrieb am 5. September 2011 die Beschwerde als gegenstandslos ab mit der Begründung, das Rechtsmittel sei aufgrund der am 29. August 2011 erfolgten Entlassung des Beschwerdeführers gegenstandslos geworden. Da sich das Verwaltungsgericht aufgrund dieser Sachlage auch in Bezug auf die Beschwerde vom 26. August 2011 nicht hätte für zuständig erklären können, erübrige sich im Rahmen des vorliegenden Verfahrens ein Entscheid über das Gesuch um unentgeltliche Rechtspflege.
1.4 Der Beschwerdeführer hat am 6. Oktober 2011 beim Bundesgericht gegen die Verfügung des Verwaltungsgerichts des Kantons Zug vom 5. September 2011 Beschwerde in Zivilsachen erhoben. Er beantragt, die Verfügung aufzuheben und das Verwaltungsgericht anzuweisen, die Beschwerde vom 26. August 2011 materiell zu behandeln. Überdies ersucht er unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren.
1.5 Einem Antrag des Beschwerdeführers entsprechend setzte die Präsidentin der II. Zivilrechtlichen Abteilung des Bundesgerichts mit Verfügung vom 11. Oktober 2011 das Beschwerdeverfahren bis zur rechtskräftigen Erledigung des vor Obergericht des Kantons Uri hängigen Verfahrens OG Z 11 14 aus.
1.6 Am 8. Februar 2012 reichte der Beschwerdeführer dem Bundesgericht den mit einer Rechtskraftbescheinigung versehenen Entscheid des Obergerichts des Kantons Uri vom 30. November 2011 ein, wonach der Beschluss des Landgerichtspräsidiums Ursern (Kanton Uri) vom 30. August 2011 aufgehoben und die Sache zur Behandlung der Beschwerde und des Gesuchs um unentgeltliche Rechtspflege an diese Instanz zurückgewiesen worden ist. Das Obergericht des Kantons Uri nahm entgegen der Auffassung des Landgerichtspräsidiums an, der Wohnsitz des Beschwerdeführers befinde sich im Kanton Uri, womit das Landgerichtspräsidium Ursern örtlich zuständig sei.
1.7 Mit Schreiben vom 21. Februar 2012 erhielt der Beschwerdeführer Gelegenheit, sich zur geplanten Abschreibung des bundesgerichtlichen Beschwerdeverfahrens und zur Kostenverlegung zu äussern, die er mit Eingabe vom 5. März 2012 wahrgenommen hat.
2. Mit dem Entscheid des Obergerichts des Kantons Uri vom 30. November 2011 ist das bundesgerichtliche Beschwerdeverfahren betreffend die Verfügung des Verwaltungsgerichts des Kantons Zug vom 5. September 2011 gegenstandslos geworden. Die Behörden des Kantons Uri haben sich nunmehr als für die Behandlung der Beschwerde vom 26. August 2011 (gerichtliche Beurteilung der fürsorgerischen Freiheitsentziehung) bzw. des Gesuchs um unentgeltliche Rechtspflege örtlich zuständig erklärt. Damit ist das vorliegende bundesgerichtliche Beschwerdeverfahren in Anwendung von Art. 32 Abs. 2 BGG durch den Einzelrichter als gegenstandslos abzuschreiben.
3. Den Umständen des konkreten Falles entsprechend werden keine Gerichtskosten erhoben. (Art. 66 Abs. 1 BGG).
4. Der Beschwerdeführer ersucht um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren.
Das Verwaltungsgericht hat das vor ihm hängige Verfahren abgeschrieben, weil das Rechtsmittel seiner Ansicht nach aufgrund der am 29. August 2011 erfolgten Entlassung des Beschwerdeführers gegenstandslos geworden ist. Es hat im Weiteren befunden, da es sich demzufolge auch in Bezug auf die Beschwerde vom 26. August 2011 nicht hätte für zuständig erklären können, erübrige sich im Rahmen des vorliegenden Verfahrens ein Entscheid über das Gesuch um unentgeltliche Rechtspflege. Der Beschwerdeführer setzt sich mit diesen Erwägungen nicht auseinander. Er erörtert erneut die Frage des Wohnsitzes, die aber beim verwaltungsgerichtlichen Entscheid nicht von Bedeutung war.
Damit aber haben sich die Verlustgefahren als bedeutend grösser erwiesen, als die Gewinnaussichten, sodass die Beschwerde als aussichtslos bezeichnet werden muss. Das Gesuch um unentgeltliche Rechtspflege ist abzuweisen, soweit es mangels Erhebung von Gerichtskosten nicht gegenstandslos geworden ist. (Art. 64 Abs. 1 BGG).
Demnach erkennt der Einzelrichter:
1. Das Verfahren 5A_700/2011 wird als gegenstandslos abgeschrieben.
2. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird abgewiesen, soweit es nicht gegenstandslos geworden ist.
3. Es werden keine Kosten erhoben.
4. Diese Verfügung wird dem Beschwerdeführer, der Psychiatrischen Klinik A._ und dem Verwaltungsgericht des Kantons Zug, Fürsorgerechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 8. März 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Einzelrichter: von Werdt
Der Gerichtsschreiber: Zbinden