Sachverhalt:
A. Der 1967 geborene X._ leidet an einer chronisch paranoiden Schizophrenie und war deswegen mehrmals (letztmals 2007) in der psychiatrischen Klinik in A._ untergebracht. Von 1993 bis 2009 wurde er von Dr. B._, St.Gallen, ambulant behandelt. 2009 erfolgten je Hospitalisierungen in Österreich und in Italien. X._ bezieht seit 1988 eine IV-Rente. Am 26. September 2010 wies der Amtsarzt des Kantons St. Gallen X._ auf Intervention seiner Mutter und eines Bruders in die Kantonale Psychiatrische Klinik (KPK) C._ ein, da er wegen Absetzens der Medikamente wieder vermehrt Krankheitssymptome aufwies.
B. Gegen diese Verfügung gelangte X._ am 28. September 2010 an die Verwaltungsrekurskommission des Kantons St. Gallen mit dem sinngemässen Antrag, ihn aus der Anstalt zu entlassen. Anlässlich der Verhandlung vom 5. Oktober 2010 wurde X._ angehört. Die als Gutachterin beigezogene Fachrichterin, Dr. D._, die dem Spruchkörper aber nicht angehörte, erstattete ihren Bericht. Mit Entscheid vom gleichen Tag wies die Verwaltungsrekurskommission die Klage ab.
C. X._ (Beschwerdeführer) gelangt mit einer am 26. Oktober 2010 der Post aufgegebenen Beschwerde an das Bundesgericht und ersucht sinngemäss um Entlassung.
Die Verwaltungsrekurskommission ersucht um Abweisung der Beschwerde und verweist auf die Begründung des angefochtenen Entscheids. Der Amtsarzt hat sich nicht vernehmen lassen. Der Beschwerdeführer hat seine Beschwerde mit einer weiteren Eingabe vom 27. Oktober 2010 ergänzt. Zudem hat er am 28. Oktober 2010 zur Vernehmlassung der Vorinstanz per Fax Stellung genommen.

Erwägungen:
1. Eine mündige oder entmündigte Person darf wegen Geisteskrankheit, Geistesschwäche, Trunksucht, anderen Suchterkrankungen oder schwerer Verwahrlosung in einer geeigneten Anstalt untergebracht oder zurückbehalten werden, wenn ihr die nötige persönliche Fürsorge nicht anders erwiesen werden kann (<ref-law>). Wie bei der Einweisung in eine Anstalt ist auch bei der Zurückbehaltung des Betroffenen das Prinzip der Verhältnismässigkeit zu beachten. Erforderlich ist, dass der Betroffene infolge der im Gesetz umschriebenen Schwächezustände persönlicher Fürsorge bedarf, die ihm nur in einer Anstalt gewährt werden kann (<ref-ruling> E. 5). Ferner ist die Belastung zu berücksichtigen, welche die Person für ihre Umgebung bedeutet (<ref-law>). Sobald es sein Zustand erlaubt, muss der von der fürsorgerischen Freiheitsentziehung Betroffene entlassen werden (<ref-law>; zum Ganzen: <ref-ruling> E. 4).
2. Der Beschwerdeführer ist in seinen verschiedenen Eingaben sinngemäss der Ansicht, insbesondere der erforderliche Fürsorgebedarf sei in seinem Fall nicht mehr gegeben. Seiner Ansicht nach kann er allein in einer Wohnung leben und ist er nicht auf Medikamente angewiesen.
2.1 Nach dem Bericht der Gutachterin leidet der Beschwerdeführer an eine chronisch paranoiden Schizophrenie mit Exazerbation nach Absetzen der Medikamente. Die Verwaltungsrekurskommission schliesst aufgrund dieser Diagnose auf eine Geisteskrankheit im Sinn von <ref-law>. Der Beschwerdeführer bringt nichts Konkretes gegen die tatsächliche Feststellung der Krankheit (<ref-ruling>) und gegen deren rechtliche Qualifikation als Schwächezustand im Sinn von <ref-law> vor. Damit erübrigen sich weitere Erörterungen zu den insoweit korrekten Ausführungen des angefochtenen Entscheids.
2.2 Im Zusammenhang mit dem durch den Schwächezustand begründeten Fürsorgebedarf interessiert, mit welchen Folgen für den Betroffenen gerechnet werden muss, wenn die Behandlung abgesetzt wird bzw. unterbleibt. Die Gutachterin hält dafür, dass die Krankheit bereits chronisch verlaufe, eine Exazerbation (Verschlimmerung) eingetreten sei und bei einer Entlassung aus der Anstalt und einer damit einhergehenden Absetzung der Medikamente längerfristig mit einer Verwahrlosung des Beschwerdeführers zu rechnen sei. Nach den weiteren Angaben der Ärztin wird die Psychose weiter bestehen und der Beschwerdeführer nach wie vor die Realität verkennen. Festgestellt wird des Weiteren, dass der Beschwerdeführer jeglicher Einsicht in seine Krankheit und in die Behandungsbedürftigkeit mangelt.
2.3 Dem Gutachten bzw. dem angefochtenen Entscheid lässt sich entnehmen, dass der Gesundheitszustand des Beschwerdeführers nach wie vor als nicht stabilisiert gilt, sodass bei einer derzeitigen Entlassung mit einer baldigen Neueinweisung gerechnet werden muss (vgl. dazu: Urteil 5A_47/2009 vom 6. Februar 2009 E. 2.4; SpiRIG, Zürcher Kommentar 3. Aufl. 1995, N. 303 zu <ref-law>). Die weitere Behandlung ist daher auch zur medikamentösen Einstellung des Beschwerdeführers und zu dessen Motivation für eine ambulante Behandlung angebracht. Überdies bedarf der Beschwerdeführer zurzeit noch der Reizabschirmung (Einzelzimmer). Mit in die Gesamtwürdigung einzubeziehen ist ferner, dass der Beschwerdeführer nach den tatsächlichen Feststellungen in seinem Zustand in fremde Gärten und Privatbereiche eingedrungen ist und schwere Drohungen gegen verschiedene Personen ausgesprochen hat. Im Sinn von <ref-law> mitzuberücksichtigen gilt es aber auch, dass der Amtsarzt den Beschwerdeführer auf Intervention der Mutter und eines Bruders in die Klinik eingewiesen hat, weil das durch den Gesundheitszustand des Beschwerdeführers verursachte Verhalten für seine Familienangehörigen eine unzumutbare Belastung darstellte. Der Beschwerdeführer bedarf somit auch weiterhin der Fürsorge in Form der Behandlung seiner Krankheit (vgl. <ref-ruling> E. 4 S. 292 ff.). Wird schliesslich berücksichtigt, dass der Beschwerdeführer die Konsultationen bei seinem behandelnden Arzt von sich aus abgebrochen hat, nach wie vor jeglicher Krankheitseinsicht mangelt und nicht bereit ist, die erforderlichen Medikamente einzunehmen, erweist sich eine stationäre Behandlung als unumgänglich.
2.4 Die Verwaltungsrekurskommission hat somit <ref-law> nicht verletzt, indem sie dem Entlassungsbegehren des Beschwerdeführers nicht stattgab. Soweit der Beschwerdeführer den Entscheid der Verwaltungsrekurskommission anficht, erweist sich die Beschwerde als unbegründet. Sie ist daher abzuweisen.
3. Es werden keine Kosten erhoben (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird den Verfahrensbeteiligten und der Verwaltungsrekurskommission des Kantons St. Gallen, Abteilung V, schriftlich mitgeteilt.
Lausanne, 10. November 2010
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Zbinden