Sachverhalt:
A. X._ (geb. am xxxx 1975) trat am 31. Dezember 2009 freiwillig in die Psychiatrische Klinik A._ ein. Nachdem er die Klinik einige Tage später verlassen wollte, ordnete deren ärztliche Leitung am 6. Januar 2010 seine Rückbehaltung in der Klinik an.
B. Der anwaltlich verbeiständete X._ gelangte gegen diesen Entscheid mit Beschwerde an das Verwaltungsgericht des Kantons Zug mit den Begehren um sofortige Entlassung und um Gewährung eines unentgeltlichen Rechtsbeistands. Die angerufene Instanz hörte ihn am 12. Januar 2010 in Anwesenheit seines Rechtsbeistands und seiner Mutter persönlich an. Ferner wurde Dr. med. S._ befragt. Im Auftrag des Gerichts erstattete Dr. med. T._, Facharzt für Psychiatrie und Psychotherapie am 14. Januar 2010 ein fachärztliches Gutachten. Mit Urteil vom 21. Januar 2010 wies das Verwaltungsgericht des Kantons Zug die Beschwerde ab, erhob keine Kosten und sprach dem Beschwerdeführer keine Parteientschädigung zu.
C. Der nunmehr durch Rechtsanwalt Edmund Schönenberger verbeiständete X._ hat mit einer am 4. Februar 2010 der Post übergebenen Eingabe Beschwerde in Zivilsachen geführt. Er verlangt die Aufhebung des verwaltungsgerichtlichen Urteils und die sofortige Entlassung aus der Anstalt, "auch mittels einstweiliger Verfügung". Ferner sei festzustellen, dass Art. 2, 3, 4, 5 Ziff. 1 lit. e, Ziff. 2 und 4, Art. 6 Ziff. 1, Art. 8 bis 12 und 14 EMRK verletzt worden seien. Für das bundesgerichtliche Verfahren ersucht er zudem um unentgeltliche Rechtspflege.
Das Verwaltungsgericht hat sich am 9. Februar 2010 vernehmen lassen; es ersucht darum, die Beschwerde abzuweisen. Die Psychiatrische Klinik hat sich am 10. Februar 2010 zur Sache geäussert.
D. Das vom Beschwerdeführer eingereichte Gesuch um Erlass vorsorglicher Massnahmen ist mit Verfügung vom 8. Februar 2010 abgewiesen worden.

Erwägungen:
1. Eine mündige oder entmündigte Person darf wegen Geisteskrankheit, Geistesschwäche, Trunksucht, anderen Suchterkrankungen oder schwerer Verwahrlosung in einer geeigneten Anstalt untergebracht oder zurückbehalten werden, wenn ihr die nötige persönliche Fürsorge nicht anders erwiesen werden kann (<ref-law>). Wie bei der Einweisung in eine Anstalt ist auch bei der Zurückbehaltung des Betroffenen das Prinzip der Verhältnismässigkeit zu beachten. Erforderlich ist, dass der Betroffene infolge der im Gesetz umschriebenen Schwächezustände persönlicher Fürsorge bedarf, die ihm nur in einer Anstalt gewährt werden kann (<ref-ruling> E. 5). Ferner ist die Belastung zu berücksichtigen, welche die Person für ihre Umgebung bedeutet (<ref-law>). Sobald es sein Zustand erlaubt, muss der von der fürsorgerischen Freiheitsentziehung Betroffene entlassen werden (<ref-law>; zum Ganzen: <ref-ruling> E. 4).
2. 2.1 Nach dem vom Verwaltungsgericht eingeholten psychiatrischen Gutachten leidet der Beschwerdeführer an einer chronischen Schizophrenie (ICD-10; F. 20.0), wobei sich laut Gutachter im Gespräch Denkstörungen (Beeinträchtigung von Auffassung, Konzentration, Gedächtnis, Einengung des Denkens auf wenige, verzerrt wahrgenommene Themen) gezeigt haben. Ferner wird auf die fehlende Krankheitseinsicht des Beschwerdeführers und dessen fehlender Bezug zur Realität hingewiesen.
Im Urteil des Verwaltungsgerichts wird sodann der "entgleiste" Gerinnungsparameter erwähnt, welcher nach Ansicht des Gutachters für eine mangelnde medikamentöse Compliance bei potentiell lebensgefährlicher Bluterkrankung spricht. Nach den Ausführungen von Dr. med. S._ leidet der Beschwerdeführer an einer chronischen Blutgerinnungsstörung und bedarf er deshalb einer adäquaten Dauermedikation.
Nach Ansicht des gerichtlichen Gutachters besteht im Fall der baldigen Entlassung des Beschwerdeführers in die alten Verhältnisse eine erhebliche Selbstgefährdung. Der Facharzt weist insbesondere darauf hin, der Beschwerdeführer sei weder ausreichend einsichtig noch kompliant in Bezug auf die nötige somatische Therapie der gefährlichen Gerinnungsstörung. Die beschriebene Entgleisung der Gerinnung habe trotz Spitex, Hausarzt und der Hilfe der Mutter nicht verhindert werden können, und ein ambulantes Setting sei hier nicht ausreichend. Der Beschwerdeführer wird im Gutachten mit Bezug auf die physische Erkrankung als eine wenig kooperative Person beschrieben, welche die ambulanten Bemühungen jeweils unterlaufe, wobei die mangelnde Kooperation nach Ansicht des Arztes durch die (Geistes) Krankheit bedingt ist. Nach den Feststellungen des angefochtenen Urteils besteht die Gefahr tödlicher Thrombosen bzw. tödlicher Embolien; festgestellt wird ferner, dass der Beschwerdeführer aufgrund seiner Denkstörung auch als Fussgänger im Strassenverkehr gefährdet ist. Die Mutter des Beschwerdeführers erklärte anlässlich der Verhandlung, die Betreuung ihres Sohnes stelle teilweise eine Belastung für sie dar. Sie wolle aber nicht, dass er in ein Heim komme; immerhin räumte sie ein, dass ihr Sohn die Medikamente nicht immer regelmässig eingenommen und auch die Termine beim Hausarzt nicht immer wahrgenommen habe.
2.2 Die Feststellungen des Verwaltungsgerichts zum geistigen Gesundheitszustand ergeben in rechtlicher Hinsicht, dass der Beschwerdeführer an einer Geisteskrankheit im Sinn von <ref-law> leidet. Da der Beschwerdeführer wegen seiner Geisteskrankheit krankheitsuneinsichtig ist und überdies an einer, bei unterbliebener Behandlung, lebensbedrohlichen Blutgerinnungsstörung leidet, ist er auf persönliche Fürsorge in Form der Behandlung seiner physischen und psychischen Erkrankung angewiesen. Angesichts der beschriebenen Krankheitsuneinsichtigkeit kann dem aufgezeigten Fürsorgebedürfnis nicht mit einer ambulanten Therapie entsprochen werden, zumal als Folge der mangelnden Einsicht die regelmässige Einnahme der Medikamente nicht sichergestellt ist; insbesondere hat die beschriebene Entgleisung der Gerinnung auch mithilfe der Spitex und des Hausarztes nicht verhindert werden können; ein ambulantes Setting ist hier gemäss den tatsächlichen Feststellungen nicht ausreichend. Die Betreuung des Beschwerdeführers stellt für dessen Mutter teilweise eine Belastung dar, wobei auch durch diese Betreuung regelmässige Arztbesuche des Beschwerdeführers und die regelmässige Einnahme der Medikamente nicht haben sichergestellt werden können. Mit dem Verwaltungsgericht ist somit unter Würdigung der relevanten tatsächlichen Feststellungen davon auszugehen, dass dem Beschwerdeführer zurzeit die persönliche Fürsorge nur in einer Anstalt gewährt werden kann. Die fürsorgerische Freiheitsentziehung erweist sich daher als mit <ref-law> vereinbar.
3. Was der Beschwerdeführer dagegen vorträgt, ist nicht geeignet, eine Bundesrechtsverletzung darzutun:
3.1 Die Beschwerde ist zu begründen (<ref-law>). Mit ihr ist in gedrängter Form durch Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Vorschriften und warum sie vom Obergericht verletzt worden sein sollen. Allgemein gehaltene Einwände, die ohne aufgezeigten oder erkennbaren Zusammenhang mit bestimmten Entscheidungsgründen vorgebracht werden, genügen nicht (<ref-ruling> E. 3 S. 749; 5A_92/2008 vom 25. Juni 2008 E. 2.3). Verfassungsverletzungen werden nur geprüft, wenn sie gerügt und gehörig begründet werden (<ref-law>; <ref-ruling> E. 1.4 S. 287; <ref-ruling> E. 3.2. S. 88 mit Hinweisen). Aufgrund des für behauptete Verfassungsverletzungen geltenden Rügeprinzips sind neue rechtliche Vorbringen unzulässig (<ref-ruling> E. 2 S. 640). Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift dargelegt werden, inwiefern diese Feststellung willkürlich oder durch eine andere Rechtsverletzung im Sinn von <ref-law> (z.B. <ref-law> oder <ref-law>) zustande gekommen ist (vgl. <ref-ruling> E. 1.2.2 und 1.4.3 S. 255) und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 in fine BGG; <ref-ruling> E. 2.2.2 S. 22). In der Beschwerde in Zivilsachen dürfen überdies keine neuen Tatsachen und Beweismittel vorgebracht werden, es sei denn, erst der Entscheid der Vorinstanz habe dazu Anlass gegeben (<ref-law>). In der Beschwerde ist darzutun, inwiefern die Voraussetzung für eine nachträgliche Einreichung von Tatsachen und Beweismitteln erfüllt sein soll (<ref-ruling> E. 3 S. 395).
3.2 Der Beschwerdeführer setzt sich in seiner Eingabe an das Bundesgericht über weite Strecken nicht den vorgenannten Begründungsanforderungen (E. 3.1) entsprechend mit den Erwägungen der Vorinstanz auseinander. Er nennt zwar eine Reihe von Bestimmungen der EMRK als verletzt, ohne aber durch Auseinandersetzung mit den Erwägungen des verwaltungsgerichtlichen Urteils aufzuzeigen, inwiefern diese Bestimmungen verletzt worden sein sollen. Sodann vermag auch der Verweis auf andere Rechtsschriften der beschriebenen Begründungspflicht nicht zu genügen. Insoweit ist auf die Beschwerde von vornherein nicht einzutreten. Unzulässig ist die Beschwerde ferner, soweit sich der Beschwerdeführer auf im angefochtenen Urteil nicht festgestellte Tatsachen stützt, ohne zu begründen, weshalb im vorliegenden Fall neue Tatsachen zuzulassen sind (<ref-law>).
3.3 Soweit der Beschwerdeführer behauptet, es sei kein adäquater Anlass für die fürsorgerische Freiheitsentziehung ersichtlich, geht er in keiner Weise auf die Erwägungen des Verwaltungsgerichts ein, das sich sehr ausführlich zu den Voraussetzungen und zur Notwendigkeit der fürsorgerischen Freiheitsentziehung geäussert hat. Es kann im Übrigen auf die Ausführungen in E. 2 des vorliegenden Urteils verwiesen werden, wonach die Voraussetzungen für eine fürsorgerische Freiheitsentziehung gegeben sind.
3.4 Entgegen der Behauptung des Beschwerdeführers ist er von der Klinik darauf hingewiesen worden, dass er die Zurückbehaltung beim Verwaltungsgericht anfechten kann.
3.5 Der Beschwerdeführer macht sinngemäss geltend, mit der Zurückbehaltung in der Anstalt werde sein Selbstbestimmungsrecht gemäss Art. 8 EMRK verletzt.
In diesem Zusammenhang wird auf die Ausführungen in E. 2 verwiesen, wonach es dem Beschwerdeführer wegen seiner Geisteskrankheit und dem damit einhergehenden fehlenden Bezug zur Realität an Einsicht in seine Erkrankung fehlt. Liegt aber mit anderen Worten wegen der festgestellten Geisteskrankheit keine Urteilsfähigkeit mit Bezug auf den Gesundheitszustand vor, so ist das Selbstbestimmungsrecht des Beschwerdeführers mit Bezug auf seine medizinische Behandlung nicht verletzt und kann es insbesondere auch nicht darauf ankommen, ob er einer medizinischen Behandlung zustimmt oder nicht.
3.6 Mit der Behauptung, das Verwaltungsgericht habe sich nicht mit seinen in der kantonalen Beschwerde vorgebrachten Argumenten auseinandergesetzt, legt der Beschwerdeführer nicht dar, womit genau sich das Verwaltungsgericht nicht auseinandergesetzt hat. Darauf ist nicht einzutreten.
3.7 Soweit der Beschwerdeführer ferner die Qualität des psychiatrischen Gutachtens infrage stellt, ergeht er sich ausschliesslich in appellatorische Kritik. Insbesondere ergibt sich aus dem Gutachten, wie die Diagnose "chronische Schizophrenie" zustande gekommen ist. Sie stützt sich auf die Exploration vom 13. Januar 2010 auf der Station der Klinik, auf das Gespräch der behandelnden Psychologin, auf die Akten der Klinik, insbesondere den aktuellen Eintrittsbericht und die ausgedruckten aktuellen Verlaufsaufzeichnungen, wobei auch die Akten aus früheren Verfahren beigezogen worden sind. Der Umstand, dass ein medizinischer Laie diesen Ausführungen nicht zu folgen vermag, bedeutet noch nicht, dass das Gutachten nicht schlüssig ist. Die Ausführungen des Beschwerdeführers sind insgesamt nicht geeignet, die Schlüssigkeit des Gutachtens infrage zu stellen bzw. dem Verwaltungsgericht in diesem Zusammenhang Willkür vorzuwerfen. Dass die festgestellte Geisteskrankheit einen Schwächezustand im Sinn von <ref-law> darstellt, ist bereits ausgeführt worden (E. 2.2).
3.8 Der Beschwerdeführer verweist auf die Möglichkeit, bei seiner Mutter aufgenommen zu werden, was seiner Ansicht nach die fürsorgerische Freiheitsentziehung als unverhältnismässig erscheinen lässt.
In E. 2 ist dargelegt worden, dass die Betreuung des Beschwerdeführers für dessen Mutter teilweise eine Belastung darstellt und die notwendige Medikamenteneinnahme sowie die erforderlichen Arztbesuche auch durch die mütterliche Betreuung nicht haben sichergestellt werden können. Dass der Beschwerdeführer von der Mutter aufgenommen werden könnte, ist somit nicht erheblich und vermag an der Rechtmässigkeit der Zurückbehaltung nichts zu ändern.
3.9 Die Ausführungen des Beschwerdeführers zu den Blutwertentgleisungen sind nicht geeignet, eine Bundesrechtsverletzung darzutun. Der Beschwerdeführer meint, die Frage der Blutwerte hätte einer Spezialbegutachtung unterzogen werden müssen, lässt dabei aber unerwähnt, dass auch ein Allgemeinpraktiker zu dieser Frage angehört worden ist. Inwiefern dieser nicht in der Lage sein sollte, über diese Frage sachverständig zu referieren, wird nicht rechtsgenüglich erörtert.
3.10 Soweit der Beschwerdeführer beanstandet, dass ihm die unentgeltliche Rechtspflege im kantonalen Verfahren verweigert worden ist, enthält die Beschwerde keine rechtsgenügliche Begründung, da einerseits nur auf andere Rechtsschriften verwiesen wird. Anderseits setzt die Gewährung der unentgeltlichen Rechtspflege (<ref-law>) voraus, dass sich das Rechtsmittel nicht als aussichtslos erweist. Zu diesem Punkt äussert sich der Beschwerdeführer nicht, weshalb sich die Beschwerde auch in diesem Punkt als unbegründet erweist, soweit darauf eingetreten werden kann.
4. Damit ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Den besonderen Umständen des Falles entsprechend werden keine Gerichtskosten erhoben (<ref-law>).
5. Soweit das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege nicht infolge des Verzichts auf Gerichtskosten gegenstandslos geworden ist, wird ihm entsprochen. Der Beschwerdeführer ist offensichtlich bedürftig und hat zudem in einer besonders in die persönliche Freiheit eingreifenden Angelegenheit Beschwerde geführt. Dem Beschwerdeführer ist ein amtlicher Rechtsbeistand zu bestellen, welcher für seine Bemühungen aus der Bundesgerichtskasse zu entschädigen ist (Art. 64 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen, soweit es nicht gegenstandslos geworden ist. Dem Beschwerdeführer wird Rechtsanwalt Edmund Schönenberger als amtlicher Rechtsbeistand bestellt.
3. Es werden keine Kosten erhoben.
4. Rechtsanwalt Edmund Schönenberger wird für seine Bemühungen ein Honorar von Fr. 1'000.-- aus der Bundesgerichtskasse entrichtet.
5. Dieses Urteil wird dem Beschwerdeführer, der am Verfahren beteiligten Klinik und dem Verwaltungsgericht des Kantons Zug, Fürsorgerechtliche Kammer, schriftlich mitgeteilt.
Lausanne, 19. Februar 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zbinden