Sachverhalt:
A. Der im 84. Altersjahr stehende X._ wurde im Verlauf des Jahres 2009 mehrmals mittels FFE in die Psychiatrische Klinik A._ eingewiesen, jeweils hauptsächlich mit der Begründung einer starken Selbstgefährdung wegen zunehmender Immobilität. Sodann war er wegen verschiedenen Stürzen mehrmals im Spital B._ hospitalisiert, allein in den Monaten Juli bis Oktober sieben Mal.
B. Am 20. Oktober 2009 wurde X._ durch PD Dr. Z._, Chefarzt am Spital B._, erneut mittels FFE in die Psychiatrische Klinik A._ eingewiesen. Dagegen erhob dieser am 21. Oktober 2009 beim Verwaltungsgericht des Kantons Schwyz Beschwerde.
Mit Entscheid vom 4. November 2009 (Versand 10. November 2009) wies das Verwaltungsgericht die Beschwerde ab, wobei es die Gemeinde C._ anwies, raschmöglichst die Verlegung von X._ in ein geeignetes Alters- und Pflegeheim vorzunehmen. Ferner ersuchte es die Gemeinde, vormundschaftliche Massnahmen zu prüfen und anzuordnen.
C. Gegen diesen Entscheid hat X._ am 24. November 2009 eine Beschwerde mit den Begehren um dessen Aufhebung, um Aufhebung der Verfügung, ihn in ein Heim zu verlegen, sowie um Eliminierung der vom Spital B._ gelieferten Beschuldigungen, die im Widerspruch zu den aus der Psychiatrie gelieferten Daten stünden. Am 8. Dezember 2009 hat X._ eine "Beschwerde 2. Teil" verfasst mit dem Antrag um Aufhebung der Verfügung, wonach er nicht in seiner Wohnung leben könne. Diese beiden Schreiben hat der Beschwerdeführer am 10. Dezember 2009 der Post übergeben.
Mit Vernehmlassung vom 16. Dezember 2009 hat das Verwaltungsgericht die Anträge gestellt, auf die Beschwerde sei nicht einzutreten, eventuell sei sie abzuweisen. Es hat darauf hingewiesen, dass der Beschwerdeführer am 3. Dezember 2009 aus der Psychiatrischen Klinik A._ entlassen und von der Gemeinde C._ in das Pflegezentrum D._ verlegt worden sei.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher kantonaler Entscheid (<ref-law>) betreffend fürsorgerische Freiheitsentziehung (FFE), gegen den die Beschwerde in Zivilsachen gegeben ist (Art. 72 Abs. 2 lit. b Ziff. 6 BGG).
1.2 Die Legitimation zur Beschwerde setzt unter anderem ein aktuelles und praktisches sowie rechtlich geschütztes Interesse voraus (<ref-law>; vgl. auch <ref-law>); dieses fehlt in der Regel, wenn ein Beschwerdeführer bereits aus der Anstalt entlassen ist (Urteil 5A_66/2008 vom 7. März 2008, E. 1.2 und E. 2.2.3).
Vorliegend befindet sich der Beschwerdeführer zwar nicht mehr in der Psychiatrischen Klinik A._. Indes ist der primäre Inhalt des angefochtenen Entscheides, dass das Verwaltungsgericht die Wohnsitzgemeinde verbindlich angewiesen hat, den Beschwerdeführer in einem Alters- und Pflegeheim zu platzieren, welcher Anweisung die Gemeinde nachgekommen ist, indem sie den Beschwerdeführer im vorgeschlagenen Heim untergebracht hat. Für die Eintretensfrage kann nicht entscheidend sein, wenn das Verwaltungsgericht in zweiter Linie eine vorübergehende Zurückbehaltung in der Psychiatrischen Klinik A._ angeordnet hat, weil eine Rückkehr nach Hause bis zur Platzierung im Pflegeheim nicht mehr zu verantworten war; umso weniger kann dies entscheidend sein, als das Verwaltungsgericht selbst befunden hat, die gerontopsychiatrische Abteilung der Psychiatrischen Klinik A._ sei nicht die geeignete Institution für den Beschwerdeführer (im Einzelnen E. 2).
Insofern tut im Übrigen auch die vom Verwaltungsgericht in der Vernehmlassung angesprochene Kontroverse zur Frage der Verlegung und Beschwerdegegenstandslosigkeit (siehe dazu <ref-ruling> E. 2f S. 35 bzw. GEISER, Basler Kommentar, 3. Aufl., Rz. 32 zu <ref-law>) nichts zur Sache, zumal sich das Verwaltungsgericht nicht nur materiell zur geeigneten Form der Unterbringung geäussert hat, sondern der Beschwerdeführer nunmehr sogar in der vom Verwaltungsgericht konkret genannten Institution untergebracht ist (im Einzelnen E. 2).
1.3 Mit der Beschwerde in Zivilsachen kann namentlich eine Verletzung von Bundesrecht gerügt werden (<ref-law>); diesbezüglich wendet das Bundesgericht das Recht von Amtes wegen an (<ref-law>). Demgegenüber ist das Bundesgericht an die kantonalen Sachverhaltsfeststellungen grundsätzlich gebunden (<ref-law>); diesbezüglich kann einzig eine willkürliche Sachverhaltsfeststellung oder eine anderweitige entscheidwesentliche Verfassungsverletzung gerügt werden (<ref-law>; <ref-ruling> E. 1.2.2; <ref-ruling> E. 7.1 S. 398), wofür das strenge Rügeprinzip gilt (<ref-law>).
2. Das Verwaltungsgericht hat auf die Anhäufung von Stürzen, die Hilflosigkeit, die Gebrechlichkeit und die in den Berichten und von den involvierten Fachpersonen übereinstimmend zum Ausdruck gebrachte Pflegebedürftigkeit des Beschwerdeführers hingewiesen. Die Gebrechlichkeit sei auch bei der gerichtlichen Anhörung offenkundig geworden; er habe sich beim Gericht entschuldigt, dass er sich nicht aus dem Rollstuhl erheben könne, um das Gericht stehend zu begrüssen bzw. zu verabschieden. Der Beschwerdeführer habe auch bestätigt, dass er nicht in der Lage sei, aus eigener Kraft wieder aufzustehen, wenn er stürze. Dr. V._ habe bei der gerichtlichen Befragung bestätigt, dass der Beschwerdeführer bei sämtlichen alltäglichen Lebensverrichtungen (mit Ausnahme der Nahrungsaufnahme) regelmässig und in hohem Mass auf Dritthilfe angewiesen sei. Er sei nachts und tagsüber auf Einlagen angewiesen und könne infolge seiner körperlichen Immobilität das WC nicht aufsuchen.
Ausgehend von diesem Befund hat das Verwaltungsgericht erwogen, der Beschwerdeführer sei zwar körperlich gebrechlich, geistig aber ein hellwacher Greis, bei dem auch Schalk und Humor festzustellen seien. Er sei zwar durchaus eigensinnig, dickköpfig und schwer belehrbar, aber von einer Geistesschwäche oder gar Geisteskrankheit könne klarerweise nicht gesprochen werden. Ebenso wenig liege eine Suchterkrankung vor. Hingegen sei ein Schwächezustand gegeben, der eine schwere Verwahrlosung im Sinn von <ref-law> begründe. In den Intervallen zwischen den Spital- und Klinikaufenthalten habe der Beschwerdeführer allein in seiner Wohnung innerhalb einer Fabrikliegenschaft gelebt. Nachbarn, die ihm Hilfe leisten könnten, gebe es keine, und der Beschwerdeführer verweigere beharrlich Unterstützungsdienste, die einen Heimeintritt hinausschieben könnten (Spitex, Mahlzeitendienst, Alarmuhr, etc.). Die Gebrechlichkeit sei aber heute schon so weit fortgeschritten, dass selbst mit solchen Unterstützungsdiensten ein Wohnen zu Hause nicht mehr möglich und deshalb eine Unterbringung in einer geeigneten Institution für die erforderliche persönliche Fürsorge (Pflege, Unterstützung in den alltäglichen Lebensverrichtungen) unabdingbar sei.
Die Gerontopsychiatrie der Psychiatrischen Klinik A._, wo sich der Beschwerdeführer befinde, sei eine gerontopsychiatrische Akutinstitution und damit nicht die geeignete Institution. Da eine Entlassung nach Hause aber nicht mehr zu verantworten sei und ein geeignetes Alters- und Pflegeheim zuerst gesucht und gefunden werden müsse, sei die Beschwerde abzuweisen und die Wohnortsgemeinde verbindlich aufzufordern, den Beschwerdeführer in ein geeignetes Alters- und Pflegeheim zu verlegen. Das Pflegezentrum D._ verfüge über eine Wohngruppe für psychosoziale Betreuung, die nicht voll belegt sei; dort könnte sich allenfalls auch der Beschwerdeführer zurecht finden. Im Übrigen sei die Vormundschaftsbehörde zu ersuchen, vormundschaftliche Massnahmen zu prüfen, da der Beschwerdeführer auch in den administrativen Belangen überfordert sei.
3. In seiner Beschwerde vom 28. November 2009 macht der Beschwerdeführer geltend, sein Ziel sei es, als Senior gemütlich zu leben und gut zu essen, an Spiel und Sport als ein passiver Teilnehmer teilzunehmen und eventuell auch berufliche Aktivitäten wie Fussball-Instruktor. Alles müsse ohne Zwang erfolgen; er akzeptiere keine Vorschriften, da er sonst seine Überzeugungen nicht umsetzen könne. In seiner "Beschwerde 2. Teil" vom 8. Dezember 2009 bringt er zudem vor, die "Beweis-Behauptungen" seien erlogen. Er habe im angefochtenen Entscheid des Verwaltungsgerichts alles unterstrichen, was unwahr sei und das Ziel verfolge, ihn als schwächlich, störrisch und streitsüchtig darzustellen.
4. Soweit sich der Beschwerdeführer gegen die kantonalen Sachverhaltsfeststellungen wendet, ist auf seine Beschwerde nicht einzutreten: Nach dem in E. 1.3 Gesagten sind diese für das Bundesgericht verbindlich, soweit nicht substanziierte Verfassungsrügen erhoben werden. Mit dem blossen Unterstreichen von Ausdrücken und Passagen im angefochtenen Entscheid und der Behauptung, diese stellten Lügen dar, ist keine Willkür darzutun. Vielmehr müsste der Beschwerdeführer aufzeigen, inwiefern das Verwaltungsgericht den Sinn und die Tragweite eines Beweismittels (vorliegend insbesondere die übereinstimmenden Aussagen und Berichte der beteiligten Fachpersonen) sowie die persönliche Anhörung offensichtlich nicht erkannt, ohne vernünftigen Grund ein entscheidendes Beweismittel ausser Acht gelassen oder aus den vorhandenen Beweismitteln einen unhaltbaren Schluss gezogen haben soll (<ref-ruling> E. 2.1 S. 9).
5. Das Recht wendet das Bundesgericht hingegen von Amtes wegen an und die Beschwerdeanträge sind klar, weshalb auf die Beschwerde insoweit einzutreten ist.
Eine mündige oder entmündigte Person darf wegen Geisteskrankheit, Geistesschwäche, Trunksucht, anderen Suchterkrankungen oder schwerer Verwahrlosung in einer geeigneten Anstalt untergebracht oder zurückbehalten werden, wenn ihr die nötige persönliche Fürsorge nicht anders erwiesen werden kann (<ref-law>). Sowohl für die Einweisung als auch die Zurückbehaltung in einer Anstalt sind die Prinzipien der Verhältnismässigkeit und der Subsidiarität zu berücksichtigen; vorausgesetzt ist mit anderen Worten, dass der Betroffene infolge der im Gesetz umschriebenen Schwächezustände persönlicher Fürsorge bedarf, die ihm nur in einer Anstalt gewährt werden kann (<ref-ruling> E. 5 S. 217 f.). Zu berücksichtigen ist ferner die Belastung, welche die Person für ihre Umgebung bedeutet (<ref-law>).
Vorliegend geht es um den Tatbestand der schweren Verwahrlosung. Nach den für das Bundesgericht verbindlichen Sachverhaltsfeststellungen ist der Beschwerdeführer stark sturzgefährdet. Dabei handelt es sich nicht um eine abstrakte, sondern um eine ganz konkrete Gefahr, musste doch der Beschwerdeführer wegen Stürzen innert weniger Monate mehrmals hospitalisiert werden. Insbesondere war auch die vorliegende FFE wegen eines Sturzes angeordnet worden; die ex-Frau hatte den Beschwerdeführer am 13. Oktober 2009 nackt auf dem Boden liegend angetroffen und er konnte sich weder an den Sturz erinnern noch daran, warum er ohne Kleidung am Boden lag. Der Beschwerdeführer räumte nach den Ausführungen des Verwaltungsgerichts selbst ein, dass er sich nicht mehr aus eigener Kraft aufrichten kann. Er würde in seiner Wohnung, wo er im Übrigen 34 Treppenstufen bewältigen muss, bei erneuten Stürzen unter Umständen so lange hilflos liegen bleiben, bis jede Hilfe zu spät käme, sind doch zum einen keine Nachbarn in Hörweite und lehnt der Beschwerdeführer zum anderen jede fremde Hilfe (Spitex, Mahlzeitendienst, Alarmuhr) vehement ab. Inzwischen könnte er aber nach den verbindlichen Schilderungen des Verwaltungsgerichtes selbst mit solchen Hilfestellungen nicht mehr in seiner Wohnung leben, weil er mit Ausnahme der Nahrungsaufnahme für sämtliche alltäglichen Verrichtungen, z.B. auch den Gang auf das WC, auf Dritthilfe angewiesen ist.
Bei dieser tatbestandsmässigen Ausgangslage ist die persönliche Fürsorge, welcher der Beschwerdeführer bedarf, zu Hause nicht mehr gewährleistet: Abgesehen davon, dass er dort jegliche Hilfsinstrumente verweigert, würden Massnahmen wie Spitex oder Mahlzeitendienst beispielsweise beim Aufsuchen des WC oder bei einem Sturz nicht mehr ausreichen. Es hält insofern vor Bundesrecht stand, wenn das Verwaltungsgericht in rechtlicher Hinsicht von einer starken Selbstgefährdung ausgegangen ist. Liegt damit einer der in <ref-law> umschriebenen Schwächezustände vor, sind die materiellen Voraussetzungen für die Verfügung einer FFE gegeben. Dass es sich beim Pflegezentrum D._ nicht um eine geeignete Anstalt im Sinne des Gesetzes handeln würde, macht der Beschwerdeführer nicht geltend, und es ist auch nicht ersichtlich, inwiefern er dort nicht die Pflege erhalten sollte, die seinem Schwächezustand entspricht. Indem einerseits eine Rückkehr nach Hause aufgrund der Sachverhaltsfeststellungen gegenwärtig nicht zu verantworten ist und das Verwaltungsgericht andererseits die gerontopsychiatrische Abteilung der Psychiatrischen Klinik A._ als überqualifiziert bezeichnet hat, sind mit der angeordneten Unterbringung auch die Prinzipien der Subsidiarität und der Verhältnismässigkeit gewahrt.
6. Weil die Unterbringung nach dem Gesagten bereits aufgrund der schweren Selbstgefährdung unabdingbar ist, kann offen bleiben, inwiefern auch eine Drittgefährdung vorliegen könnte (verbale Drohungen, Ausfälligkeiten und Aggressionen gemäss Krankengeschichte des Spitals B._; demgegenüber Aussage aus der Psychiatrischen Klinik A._, der Patient vertrete seine Anliegen vehement und könne laut werden, sei aber nie bedrohlich gewesen). Die in diesem Zusammenhang gemachten Ausführungen bzw. Bestreitungen durch den Beschwerdeführer sind mithin nicht entscheidrelevant und es kann offen bleiben, ob und inwieweit eine Drittgefährdung vorliegt.
7. Zusammenfassend ergibt sich, dass die Beschwerde abzuweisen ist, soweit auf sie eingetreten werden kann. Es rechtfertigt sich, im vorliegenden Fall keine Kosten zu erheben (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde in Zivilsachen wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Schwyz, Kammer IV, schriftlich mitgeteilt.
Lausanne, 14. Januar 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Möckli