Sachverhalt: A. A.a X._ (1. August 1955) wurde am 22. Juni 2012 dabei beobachtet, wie er am Auto eines Mitgliedes der Vermieterfamilie die Radmuttern löste. Er wurde deswegen am frühen Morgen des 23. Juni 2012 im Rahmen einer fürsorgerischen Freiheitsentziehung in die Psychiatrische Klinik Z._ eingewiesen. Am 11. Juli 2012 wurde er entlassen. A.b In der Folge rief X._ die Staatsanwaltschaft an und teilte mit, es werde etwas passieren. Anlässlich eines Telefongesprächs vom 16. August 2012 mit dem Zentraldienst der Polizei teilte er mit, er werde zum Polizeikommandanten gehen. Am gleichen Tag meldete eine unbekannte Person der Kantonspolizei, X._ wolle sich eine Hellebarde anfertigen lassen, "um jemanden totzuschlagen". Im Rahmen des nachfolgenden Polizeieinsatzes wurde X._ am 16. August 2012 um 17.20 Uhr vor seinem Haus angetroffen. Er war stark alkoholisiert (2.49 o/oo) und sprach gegenüber der Polizei und Drittpersonen Drohungen aus. In der Folge wurde er von der Notfallärztin, Dr. med. Y._, im Rahmen einer fürsorgerischen Freiheitsentziehung in die Psychiatrische Klinik Z._ eingewiesen. B. Am 18. August 2012 erhob X._ beim Verwaltungsgericht des Kantons Schwyz Rekurs gegen die Einweisung und beantragte die Aufhebung der angeordneten Massnahme. Anlässlich der Sitzung vom 29. August 2012 hörte das Verwaltungsgericht den anwaltlich verbeiständeten Beschwerdeführer sowie den in diesem Fall eingesetzten Sachverständigen, Dr. med. A._, an. Zu Wort kam ferner der Klinikarzt, Dr. med. B._. Mit Entscheid vom gleichen Tag wies das Verwaltungsgericht die Beschwerde ab und bestätigte die fürsorgerische Freiheitsentziehung. C. Der nicht mehr anwaltlich verbeiständete X._ hat am 22. September 2012 (Postaufgabe) beim Bundesgericht gegen den Entscheid des Verwaltungsgerichts Beschwerde in Zivilsachen erhoben. Er verlangt die sofortige Entlassung. Es sind keine Vernehmlassungen eingeholt worden.