Sachverhalt:
A. A.a X._ (geb. xxxx 1976) erhielt im Jahr 2009 eine volle IV-Rente zugesprochen und wehrte sich dagegen erfolgreich beim Versicherungsgericht des Kantons Solothurn. Das Gericht wies die IV-Stelle mit Urteil vom 13. August 2010 an, die berufliche Eingliederungsfähigkeit von X._ nochmals zu prüfen. Die Ausgleichskasse stellte in der Folge die Rentenzahlungen per 31. August 2010 ein. X._ erstattete der Ausgleichskasse der IV die bereits ausbezahlten Rentenleistungen im Umfang von Fr. 30'000.-- zurück.
A.b Am 25. Januar 2011 reichte X._ bei den Sozialen Diensten der Stadt A._ einen Antrag um Sozialhilfe ein. Die Sozialen Dienste anerkannten einen Anspruch ab dem 1. Februar 2011 und wiesen X._ an, mit den involvierten Stellen kooperativ zusammenzuarbeiten und allfällige von der IV erbrachte Leistungen an die Sozialen Dienste abzutreten. X._ kam diesen Auflagen nicht nach. Da er gesundheitliche Probleme hatte und weder über Einkommen noch Vermögen verfügte, gewährten ihm die Sozialen Dienste Nothilfe.
A.c In ihrem Abschlussbericht vom 9. Mai 2011 hielt die IV-Stelle fest, X._ leide gemäss neuester ärztlicher Einschätzung an paranoider Schizophrenie und Anorexie; er verweigere therapeutische Massnahmen, habe keiner Vorladung der IV-Stelle Folge geleistet, sodass die berufliche Wiedereingliederung nicht mit ihm habe besprochen werden können. Mit Verfügung vom 28. November 2011 sprach die IV X._ rückwirkend ab 1. Januar 2007 eine ganze IV-Rente zu. Gestützt auf eine Abtretung an die Sozialen Dienste der Stadt A._ bezahlte die Ausgleichskasse die laufenden Rentenzahlungen und die rückwirkenden Rentenleistungen im Betrag von Fr. 55'000.-- an die Sozialen Dienste der Stadt A._ aus.
B. B.a Da X._ die ihm zugesprochene IV-Rente weiter ablehnte, lud ihn die Vormundschaftsbehörde A._ im Hinblick auf die geplante Anordnung vormundschaftlicher Massnahmen zur Sitzung vom 18. Januar 2012 ein. X._ lehnte eine Teilnahme an der Sitzung ab. Am 18. Januar 2012 ordnete die Vormundschaftsbehörde über X._ eine Beistandschaft gemäss Art. 392 Ziff. 1 und <ref-law> an. Dem Beistand wurde aufgetragen, X._ bei der Regelung der administrativen und finanziellen Angelegenheiten, der Geltendmachung und Verwaltung der Leistungen der Sozialversicherungen (Krankenkasse, Invalidenversicherung, Ergänzungsleistungen usw.) zu helfen und per 18. Januar 2012 ein Inventar über die Vermögenswerte einzureichen.
B.b Mit Entscheid vom 4. Juni 2012 wies das Departement des Innern des Kantons Solothurn eine Beschwerde des X._ gegen die Anordnung der Beistandschaft ab. Mit Urteil vom 2. Oktober 2012 gab das Verwaltungsgericht des Kantons Solothurn der von X._ gegen den Entscheid des Departementes des Innern erhobenen Beschwerde nicht statt.
C. X._ (Beschwerdeführer) hat gegen das Urteil des Verwaltungsgerichts am 3. November 2012 (Postaufgabe) beim Bundesgericht Beschwerde in Zivilsachen erhoben. Er beantragt sinngemäss die Aufhebung der angeordneten Beistandschaft. Nachdem ihm eine Nachfrist zur Bezahlung des Kostenvorschusses angesetzt worden war, ersuchte der Beschwerdeführer am 26. November 2012 sinngemäss um unentgeltliche Rechtspflege.
Es sind keine Vernehmlassungen eingeholt worden.

Erwägungen:
1. 1.1 Angefochten ist ein letztinstanzlicher (<ref-law>) kantonaler Endentscheid (<ref-law>) betreffend Errichtung einer Beistandschaft. Er betrifft eine öffentlich-rechtliche Angelegenheit in unmittelbarem Zusammenhang mit dem Zivilrecht (Art. 72 Abs. 2 lit. b Ziff. 6 BGG), womit die Beschwerde in Zivilsachen ohne weiteres gegeben ist. Der Beschwerdeführer war Partei im kantonalen Verfahren (<ref-law>). Seinem sinngemässen Antrag um Aufhebung der vormundschaftlichen Massnahmen wurde nicht entsprochen; er verfügt damit über ein schützenswertes Interesse an der Aufhebung bzw. Änderung des angefochtenen Entscheids (<ref-law>). Auf die im Übrigen fristgerecht eingereichte Beschwerde (<ref-law>) ist grundsätzlich einzutreten.
1.2 In der Beschwerde ist in Auseinandersetzung mit den Erwägungen des angefochtenen Entscheids darzulegen, welche Rechte der beschwerdeführenden Partei durch das kantonale Gericht verletzt worden sind (<ref-law>; <ref-ruling> E. 2.1 S. 245), wobei eine allfällige Verletzung verfassungsmässiger Rechte vom Bundesgericht nicht von Amtes wegen geprüft wird, sondern nur dann, wenn solche Rügen in der Beschwerdeschrift ausdrücklich erhoben und begründet werden (<ref-law>; <ref-ruling> E. 1.2 S. 234). Wird eine Sachverhaltsfeststellung beanstandet, muss in der Beschwerdeschrift dargelegt werden, inwiefern diese Feststellung willkürlich oder durch eine andere Rechtsverletzung im Sinn von <ref-law> (z.B. <ref-law> oder <ref-law>) zustande gekommen ist (vgl. <ref-ruling> E. 1.2.2 und 1.4.3 S. 255) und inwiefern die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 in fine BGG; <ref-ruling> E. 2.2.2 S. 22). Auf rein appellatorische Kritik am Sachverhalt tritt das Bundesgericht nicht ein.
2. 2.1 Die Vormundschaftsbehörde hat über den Beschwerdeführer eine Beistandschaft gemäss Art. 392 Ziff. 1 und <ref-law> errichtet. Eine Beistandschaft nach <ref-law> ist anzuordnen, wenn eine mündige Person in einer dringenden Angelegenheit infolge von Krankheit, Abwesenheit oder dergleichen weder selbst handeln noch einen Vertreter bestimmen kann. Nach <ref-law> ist eine Beistandschaft gerechtfertigt, wenn eine Person unfähig ist, die Verwaltung ihres Vermögens selbst zu besorgen oder einen Vertreter zu bestellen; diese Massnahme kommt nur in Betracht, falls keine Vormundschaft zu errichten ist.
2.2 Das Verwaltungsgericht hat im Wesentlichen erwogen, indem der Beschwerdeführer seine IV-Leistung weiterhin ablehne, gefährde er seine eigene Existenz. Im Weiteren hat es gestützt auf den Abschlussbericht der IV-Stelle vom 9. Mai 2011 und das Urteil des Versicherungsgerichts vom 13. August 2010 hervorgehoben, der Beschwerdeführer leide an einer paranoiden Schizophrenie und an Anorexie. Laut einem Bericht der Psychiatrischen Dienste der A._ Spitäler AG vom 29. September 2009 liege bei ihm eine andauernde Persönlichkeitsveränderung nach psychischer Erkrankung vor (ICD_10 F62.1) vor, welche eine 100%-ige Arbeitsunfähigkeit begründe. In seiner bisherigen Tätigkeit als Architekt könne er nicht mehr arbeiten; seine Behinderung beruhe in erster Linie auf der Unfähigkeit, mit Kunden und Kollegen in eine Beziehung zu treten; er meide jeden Kontakt und habe grosse Schwierigkeiten, an Besprechungen oder Diskussionen aktiv teilzunehmen. Überdies sei er auch in Bezug auf rein sachliche Diskussionen für Argumente schwer zugänglich, die nicht seiner Überzeugung entsprächen. Aus dem Abschlussbericht der IV zur beruflichen Eingliederung vom 11. Mai 2009 gehe hervor, dass das Selbst- und Fremdbild des Beschwerdeführers betreffend seine Leistungsfähigkeit massiv auseinandergehe. So sei er der Meinung, seine Arbeitsleistung sei monatlich mit mindestens Fr. 3'500.-- zu entschädigen und nicht nur mit Fr. 1'500.--, wie ihm von seiner Praktikumsstelle angeboten werde. Der Beschwerdeführer sei durch seine kaum vorhandene Sozial- und Kommunikationsfähigkeit in der beruflichen Privatwirtschaft massiv eingeschränkt bzw. für einen Arbeitgeber kaum zumutbar. Aufgrund dieser Schilderungen müsse davon ausgegangen werden, die verweigernde Haltung des Beschwerdeführers gegenüber der IV-Rente sei durch seine gesundheitlichen Einschränkungen bedingt. Diese Einschränkungen führten offenbar dazu, dass der Beschwerdeführer nicht in der Lage sei, seine Fähigkeiten richtig einzuschätzen; ferner falle es ihm krankheitsbedingt schwer, Dinge anzunehmen, die nicht seiner Überzeugung entsprächen. Da diese Haltung seine Existenz gefährde, sei der Beschwerdeführer offensichtlich auf Hilfe bei der Erledigung der finanziellen und administrativen Angelegenheiten angewiesen. Die Einsetzung eines Beistandes, welche die mildeste der zur Verfügung stehenden Massnahmen darstelle, sei deshalb gerechtfertigt.
3. 3.1 Gegen das Urteil der Vorinstanz bringt der Beschwerdeführer als Erstes vor, das Verwaltungsgericht habe ohne mündliche Verhandlung entschieden und überdies seinen Anspruch auf rechtliches Gehör verletzt.
3.2 Der Beschwerdeführer wurde bereits von der Vormundschaftsbehörde A._ zur Verhandlung vom 18. Januar 2012 vorgeladen und hat dieser Vorladung nicht Folge geleistet. Zudem legt er nicht rechtsgenüglich (E. 1.2) dar und ist weder der Beschwerde an das Departement noch jener an das Verwaltungsgericht zu entnehmen, dass er vor dem Departement bzw. vor dem Verwaltungsgericht einen Antrag auf eine mündliche Verhandlung gestellt hat. Von einer Verletzung des Anspruchs auf eine öffentliche Verhandlung kann daher keine Rede sein. Im Übrigen erörtert der Beschwerdeführer in seiner Eingabe nicht substanziiert (E. 1.2), inwiefern das rechtliche Gehör (<ref-law>) verletzt worden sein soll. Darauf ist nicht einzutreten.
4. Mit Bezug auf den Entscheid des Verwaltungsgerichts in der Sache beschränkt sich der Beschwerdeführer einerseits darauf, eigene Tatsachen vorzutragen; soweit diese von den Feststellungen des angefochtenen Urteils abweichen, ist darauf von vornherein nicht einzutreten (E. 1.2). Anderseits schickt er sich an, seine gesundheitlichen Probleme zu verniedlichen und das verwaltungsgerichtliche Urteil als unhaltbar zu bezeichnen, ohne dabei aber rechtsgenüglich auf die entsprechenden tatsächlichen Feststellungen (<ref-ruling>) des Verwaltungsgerichts zum Gesundheitszustand einzugehen und darzulegen, inwiefern diese Feststellungen willkürlich sein oder sonst wie gegen Bundesrecht verstossen sollen (E. 1.2). Im Übrigen zeigt der Beschwerdeführer auch nicht auf, warum er im Lichte des festgestellten Gesundheitszustandes und der gemäss den verbindlichen Feststellungen des Verwaltungsgerichts durch die Krankheit bedingten Arbeitsunfähigkeit und der krankheitsbedingten negativen Einstellung gegenüber ihm zustehenden IV-Leistungen nicht schutzbedürftig sein soll. Der Beschwerdeführer bringt schliesslich auch nicht vor, die angeordnete Beistandschaft sei unverhältnismässig. Damit wird insgesamt nicht in Auseinandersetzung mit dem angefochtenen Urteil begründet, inwiefern die Anordnung der Beistandshaft gemäss Art. 392 Ziff. 1 und <ref-law> gegen Bundesrecht verstossen soll. Insoweit ist auf die Beschwerde nicht einzutreten.
5. Damit ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Den Umständen des konkreten Falles entsprechend werden keine Kosten erhoben (<ref-law>).
6. Mit der vorliegenden Kostenregelung wird das Gesuch des Beschwerdeführers um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, der Vormundschaftsbehörde der Einwohnergemeinde A._ und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 20. Dezember 2012
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Hohl
Der Gerichtsschreiber: Zbinden