Sachverhalt: A. X._ (geb. am xxxx 1975) trat am 31. Dezember 2009 freiwillig in die Psychiatrische Klinik A._ ein. Nachdem er die Klinik einige Tage später verlassen wollte, ordnete deren ärztliche Leitung am 6. Januar 2010 seine Rückbehaltung in der Klinik an. B. Der anwaltlich verbeiständete X._ gelangte gegen diesen Entscheid mit Beschwerde an das Verwaltungsgericht des Kantons Zug mit den Begehren um sofortige Entlassung und um Gewährung eines unentgeltlichen Rechtsbeistands. Die angerufene Instanz hörte ihn am 12. Januar 2010 in Anwesenheit seines Rechtsbeistands und seiner Mutter persönlich an. Ferner wurde Dr. med. S._ befragt. Im Auftrag des Gerichts erstattete Dr. med. T._, Facharzt für Psychiatrie und Psychotherapie am 14. Januar 2010 ein fachärztliches Gutachten. Mit Urteil vom 21. Januar 2010 wies das Verwaltungsgericht des Kantons Zug die Beschwerde ab, erhob keine Kosten und sprach dem Beschwerdeführer keine Parteientschädigung zu. C. Der nunmehr durch Rechtsanwalt Edmund Schönenberger verbeiständete X._ hat mit einer am 4. Februar 2010 der Post übergebenen Eingabe Beschwerde in Zivilsachen geführt. Er verlangt die Aufhebung des verwaltungsgerichtlichen Urteils und die sofortige Entlassung aus der Anstalt, "auch mittels einstweiliger Verfügung". Ferner sei festzustellen, dass Art. 2, 3, 4, 5 Ziff. 1 lit. e, Ziff. 2 und 4, Art. 6 Ziff. 1, Art. 8 bis 12 und 14 EMRK verletzt worden seien. Für das bundesgerichtliche Verfahren ersucht er zudem um unentgeltliche Rechtspflege. Das Verwaltungsgericht hat sich am 9. Februar 2010 vernehmen lassen; es ersucht darum, die Beschwerde abzuweisen. Die Psychiatrische Klinik hat sich am 10. Februar 2010 zur Sache geäussert. D. Das vom Beschwerdeführer eingereichte Gesuch um Erlass vorsorglicher Massnahmen ist mit Verfügung vom 8. Februar 2010 abgewiesen worden.