Sachverhalt:
A. A.a X._ (1. August 1955) wurde am 22. Juni 2012 dabei beobachtet, wie er am Auto eines Mitgliedes der Vermieterfamilie die Radmuttern löste. Er wurde deswegen am frühen Morgen des 23. Juni 2012 im Rahmen einer fürsorgerischen Freiheitsentziehung in die Psychiatrische Klinik Z._ eingewiesen. Am 11. Juli 2012 wurde er entlassen.
A.b In der Folge rief X._ die Staatsanwaltschaft an und teilte mit, es werde etwas passieren. Anlässlich eines Telefongesprächs vom 16. August 2012 mit dem Zentraldienst der Polizei teilte er mit, er werde zum Polizeikommandanten gehen. Am gleichen Tag meldete eine unbekannte Person der Kantonspolizei, X._ wolle sich eine Hellebarde anfertigen lassen, "um jemanden totzuschlagen". Im Rahmen des nachfolgenden Polizeieinsatzes wurde X._ am 16. August 2012 um 17.20 Uhr vor seinem Haus angetroffen. Er war stark alkoholisiert (2.49 o/oo) und sprach gegenüber der Polizei und Drittpersonen Drohungen aus. In der Folge wurde er von der Notfallärztin, Dr. med. Y._, im Rahmen einer fürsorgerischen Freiheitsentziehung in die Psychiatrische Klinik Z._ eingewiesen.
B. Am 18. August 2012 erhob X._ beim Verwaltungsgericht des Kantons Schwyz Rekurs gegen die Einweisung und beantragte die Aufhebung der angeordneten Massnahme. Anlässlich der Sitzung vom 29. August 2012 hörte das Verwaltungsgericht den anwaltlich verbeiständeten Beschwerdeführer sowie den in diesem Fall eingesetzten Sachverständigen, Dr. med. A._, an. Zu Wort kam ferner der Klinikarzt, Dr. med. B._. Mit Entscheid vom gleichen Tag wies das Verwaltungsgericht die Beschwerde ab und bestätigte die fürsorgerische Freiheitsentziehung.
C. Der nicht mehr anwaltlich verbeiständete X._ hat am 22. September 2012 (Postaufgabe) beim Bundesgericht gegen den Entscheid des Verwaltungsgerichts Beschwerde in Zivilsachen erhoben. Er verlangt die sofortige Entlassung. Es sind keine Vernehmlassungen eingeholt worden.

Erwägungen:
1. Angefochten ist ein letztinstanzlicher kantonaler Endentscheid (Art. 75 Abs. 1 und Art. 90 BGG) betreffend fürsorgerische Freiheitsentziehung. Er betrifft eine öffentlich-rechtliche Angelegenheit, die in engem Zusammenhang mit dem Zivilrecht steht und demzufolge ohne Weiteres mit Beschwerde in Zivilsachen beim Bundesgericht angefochten werden kann (Art. 72 Abs. 2 lit. b Ziff. 6 BGG). Der Beschwerdeführer war im kantonalen Verfahren Partei (<ref-law>). Er ist mit dem Gesuch um Entlassung nicht durchgedrungen und verfügt damit über ein schützenswertes Interesse an der Aufhebung des Entscheids (<ref-law>). Auf die Beschwerde ist einzutreten.
2. Das Verwaltungsgericht hat beim Beschwerdeführer gestützt auf die Ausführungen des gerichtlichen Sachverständigen sowie des Klinikarztes eine paranoide Persönlichkeitsstörung mit querulatorischen Zügen festgestellt und deshalb auf einen Schwächezustand im Sinn von <ref-law> erkannt. Des Weiteren hat es gestützt auf die gutachterlichen Ausführungen auf einen Fürsorgebedarf in Form der Behandlung der Geistesschwäche und einer festgestellten Alkoholabhängigkeit geschlossen und ferner angenommen, dass dem erforderlichen Fürsorgebedarf nur in einer Anstalt entsprochen werden kann. Schliesslich hat es die Psychiatrische Klinik als geeignete Anstalt im Sinn von <ref-law> betrachtet.
Der Beschwerdeführer bestreitet im Wesentlichen die tatsächlichen Begebenheiten, die zur fürsorgerischen Freiheitsentziehung geführt haben. Sodann ersucht er um ein weiteres Gutachten mit der Begründung, er habe kein Vertrauen mehr in die befragten Ärzte.
3. 3.1 Die Einweisung bzw. die Zurückbehaltung in einer Anstalt gestützt auf <ref-law> erfordert, dass die betroffene Person infolge der im Gesetz umschriebenen Schwächezustände persönlicher Fürsorge bedarf, die ihr nur in einer Anstalt gewährt werden kann (<ref-ruling> E. 5; siehe zum Ganzen: <ref-ruling> E. 4). Die in <ref-law> enthaltene Aufzählung der Schwächezustände ist abschliessend (BBl 1977 III 26 Ziff. 212.2). Insbesondere sieht das Gesetz keine fürsorgerische Freiheitsentziehung allein wegen Fremdgefährdung vor (vgl. dazu insbesondere auch EUGEN SPIRIG, Zürcher Kommentar, N. 340 zu <ref-law>; THOMAS GEISER, Basler Kommentar Zivilgesetzbuch I, 4. Aufl. 2010, N. 26 zu <ref-law>; zur Publikation bestimmtes Urteil 5A_607/2012 vom 5. September 2012 E. 3).
Nach <ref-law> darf bei psychisch Kranken nur unter Beizug eines Sachverständigen entschieden werden. Das einzuholende Gutachten hat es dem Gericht zu ermöglichen, die sich aus <ref-law> ergebenden Rechtsfragen zu beantworten (<ref-ruling> E. 4.5). So hat es sich insbesondere über den Gesundheitszustand der betroffenen Person, aber auch darüber zu äussern, wie sich allfällige gesundheitliche Störungen hinsichtlich der Gefahr einer Selbst- bzw. Drittgefährdung oder einer Verwahrlosung auswirken können und ob sich daraus ein Handlungsbedarf ergibt (<ref-ruling> E. 4.5). In diesem Zusammenhang interessiert insbesondere, ob ein Bedarf an der Behandlung einer festgestellten psychischen Erkrankung bzw. an Betreuung der betroffenen Person besteht. Wird ein Behandlungs- bzw. Betreuungsbedarf bejaht, ist weiter wesentlich, mit welcher konkreten Gefahr für die Gesundheit oder das Leben der betroffenen Person bzw. von Dritten zu rechnen ist, wenn die Behandlung der gutachterlich festgestellten Krankheit bzw. die Betreuung unterbleibt (zum Erfordernis der konkreten Gefahr: Urteile 5A_312/2007 vom 10. Juli 2007 E. 2.3; 5A_288/2011 vom 19. Mai 2011 E. 5.3). Im weiteren ist durch den Gutachter Antwort darauf zu geben, ob aufgrund des festgestellten Handlungsbedarfs eine stationäre Behandlung bzw. Betreuung unerlässlich ist. Dabei hat der Experte auch darüber Auskunft zu geben, ob die betroffene Person über glaubwürdige Krankheits- und Behandlungseinsicht verfügt. Wird aufgrund der vorgenannten gutachterlichen Abklärungen die Zurückbehaltung in einer Anstalt als notwendig erachtet, hat der Experte schliesslich zu beantworten, ob eine Anstalt zur Verfügung steht, die für die Behandlung bzw. Betreuung der betroffenen Person infrage kommt (siehe zum Ganzen <ref-ruling> E. 4.5).
3.2 Sowohl der Klinikarzt als auch der gerichtliche Sachverständige diagnostizieren beim Beschwerdeführer eine paranoide Persönlichkeitsstörung. Nach Ansicht des Klinikarztes sind überdies querulatorische Züge vorhanden. Aufgrund der zwischenzeitlich getroffenen Erkenntnisse der Ärzte kann die ursprüngliche Diagnose um die Verdachtsdiagnose wahnhafter Störungen erweitert werden. Damit ist zumindest eine Geistesschwäche im Sinn von <ref-law> gegeben. Überdies ist laut den Ärzten ein vom Beschwerdeführer krass verharmlostes Alkoholproblem vorhanden.
3.3 Im Zusammenhang mit dem gesetzlich erforderlichen Bedarf an Fürsorge gilt es abzuklären, wie sich allfällige gutachterlich festgestellte gesundheitliche Störungen bzw. Suchterkrankungen hinsichtlich der Gefahr einer Selbst- bzw. Drittgefährdung oder einer Verwahrlosung auswirken können und ob sich daraus ein Handlungsbedarf ergibt (<ref-ruling> E. 4.5). In diesem Zusammenhang interessiert insbesondere, ob ein Bedarf an der Behandlung einer festgestellten psychischen Erkrankung oder einer Suchterkrankung bzw. an Betreuung der betroffenen Person besteht. Dabei ist von Bedeutung, mit welcher konkreten Gefahr für die Gesundheit oder das Leben der betroffenen Person bzw. von Dritten zu rechnen ist, wenn die Behandlung der gutachterlich festgestellten Krankheit bzw. der Sucht oder wenn die Betreuung unterbleibt (zum Erfordernis der konkreten Gefahr: Urteile 5A_312/2007 vom 10. Juli 2007 E. 2.3; 5A_288/2011 vom 19. Mai 2011 E. 5.3). Wesentlich ist sodann die Frage der Krankheitseinsicht des Betroffenen.
Mit Bezug auf die Selbstgefährdung gilt es zunächst auf die Verhältnisse hinzuweisen, welche die Polizei anlässlich ihrer Intervention vom 16. August 2012 vorgefunden hat: Die Beamten stiessen dabei auf eine stark verschmutzte Wohnung des Beschwerdeführers, die von Abfall übersäht war und deren sanitären Anlagen teilweise mit verschmutztem Wasser gefüllt waren. Das Verwaltungsgericht geht offenbar aufgrund dieser Feststellungen beim Beschwerdeführer von einer Verwahrlosungstendenz aus. Ferner besteht ein vom Beschwerdeführer verharmlostes Alkoholproblem. Der Klinikarzt erachtet eine Selbstgefährdung insofern als gegeben, als der übermässige Alkoholkonsum zu einem Realitätsverlust führe, der in eine Fehlernährung mit entsprechenden Mangelfolgeschäden münden könne. In diesem Zusammenhang ist vor allem auf die Aussagen des Beschwerdeführers hinzuweisen, wonach er bereits am frühen Morgen Kaffee-Schnaps trinkt und sich nur schlecht ernährt.
Der Klinikarzt bejaht sodann eine Fremdgefährdung und führt zur Begründung aus, man müsse sich dies als Pyramide vorstellen: Die paranoide Persönlichkeitsstörung bilde die Basis; darauf aufbauend folge der Alkoholkonsum mit möglichen Folgeschäden und/oder eine wahnhafte Störung; aus dieser Faktorenkombination könne sich in einer Alltagssituation auch eine unmittelbare Gefahr für Dritte ergeben. Das Verwaltungsgericht hält in diesem Zusammenhang fest, dass sich das Bedrohungspotential bis anhin vor allem verbal äusserte. Immerhin darf nicht unerwähnt bleiben, dass der Beschwerdeführer bereits früher dabei beobachtet wurde, wie er am Wagen eines Mitgliedes der Vermieterfamilie die Radmuttern löste. Nach den weiteren Ausführungen des Klinikarztes verfügt der Beschwerdeführer über keine Krankheitseinsicht und keine Compliance.
Aufgrund der geschilderten tatsächlichen Feststellungen und der sich daraus ergebenden konkreten Folgen für den Beschwerdeführer, wenn eine Behandlung der Geistesschwäche bzw. der Suchterkrankung unterbleibt, ist der erforderliche Fürsorgebedarf ohne Weiteres gegeben. Nach den Darlegungen des gerichtlichen Sachverständigen bedarf der Beschwerdeführer zurzeit einer stationären psychischen Betreuung. Die erforderliche Fürsorge kann ihm mit anderen Worten nur in einer Einrichtung zuteil werden.
3.4 Das Behandlungskonzept der Psychiatrischen Klinik Z._ erscheint nach der gutachterlichen Beurteilung als geeignet.
Damit sind die Voraussetzungen für eine fürsorgerische Freiheitsentziehung erfüllt. Von einer Verletzung von <ref-law> kann keine Rede sein.
4. Wie die bisherigen Ausführungen ergeben haben, hat das Verwaltungsgericht den erforderlichen Sachverhalt namentlich durch ein gerichtliches Gutachten und die Einvernahme des Klinikarztes erstellt. Seinen Antrag auf Einholung eines weiteren Gutachtens begründet der Beschwerdeführer einzig mit dem fehlenden Vertrauen in die Ärzte. Er stellt indes die Schlüssigkeit deren Aussagen nicht substanziiert infrage und bringt auch sonst nichts gegen die gerichtliche Begutachtung vor, was ein weiteres Gutachten als erforderlich erscheinen liesse. Dem Antrag auf Einholung eines zusätzlichen Gutachtens ist daher nicht stattzugeben. Soweit der Beschwerdeführer einfach den von der Vorinstanz festgestellten Sachverhalt bestreitet, legt er nicht dar, inwiefern diese Feststellung willkürlich oder durch eine andere Rechtsverletzung im Sinn von <ref-law> (z.B. <ref-law> oder <ref-law>) zustande gekommen ist (vgl. <ref-ruling> E. 1.2.2 und 1.4.3 S. 255) und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 in fine BGG; <ref-ruling> E. 2.2.2 S. 22). Im Übrigen hat das Verwaltungsgericht dem Vorfall mit der angeblichen Bestellung einer Hellebarde und der entsprechenden Anzeige durch Unbekannt, soweit ersichtlich, keine Bedeutung beigemessen.
5. Damit ist die Beschwerde abzuweisen. Den Umständen des konkreten Falles entsprechend werden keine Kosten erhoben.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird de Beschwerdeführer, Y._ und dem Verwaltungsgericht des Kantons Schwyz, Kammer IV, schriftlich mitgeteilt.
Lausanne, 11. Oktober 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Escher
Der Gerichtsschreiber: Zbinden