Sachverhalt: A. A.a X._ (geb. xxxx 1976) erhielt im Jahr 2009 eine volle IV-Rente zugesprochen und wehrte sich dagegen erfolgreich beim Versicherungsgericht des Kantons Solothurn. Das Gericht wies die IV-Stelle mit Urteil vom 13. August 2010 an, die berufliche Eingliederungsfähigkeit von X._ nochmals zu prüfen. Die Ausgleichskasse stellte in der Folge die Rentenzahlungen per 31. August 2010 ein. X._ erstattete der Ausgleichskasse der IV die bereits ausbezahlten Rentenleistungen im Umfang von Fr. 30'000.-- zurück. A.b Am 25. Januar 2011 reichte X._ bei den Sozialen Diensten der Stadt A._ einen Antrag um Sozialhilfe ein. Die Sozialen Dienste anerkannten einen Anspruch ab dem 1. Februar 2011 und wiesen X._ an, mit den involvierten Stellen kooperativ zusammenzuarbeiten und allfällige von der IV erbrachte Leistungen an die Sozialen Dienste abzutreten. X._ kam diesen Auflagen nicht nach. Da er gesundheitliche Probleme hatte und weder über Einkommen noch Vermögen verfügte, gewährten ihm die Sozialen Dienste Nothilfe. A.c In ihrem Abschlussbericht vom 9. Mai 2011 hielt die IV-Stelle fest, X._ leide gemäss neuester ärztlicher Einschätzung an paranoider Schizophrenie und Anorexie; er verweigere therapeutische Massnahmen, habe keiner Vorladung der IV-Stelle Folge geleistet, sodass die berufliche Wiedereingliederung nicht mit ihm habe besprochen werden können. Mit Verfügung vom 28. November 2011 sprach die IV X._ rückwirkend ab 1. Januar 2007 eine ganze IV-Rente zu. Gestützt auf eine Abtretung an die Sozialen Dienste der Stadt A._ bezahlte die Ausgleichskasse die laufenden Rentenzahlungen und die rückwirkenden Rentenleistungen im Betrag von Fr. 55'000.-- an die Sozialen Dienste der Stadt A._ aus. B. B.a Da X._ die ihm zugesprochene IV-Rente weiter ablehnte, lud ihn die Vormundschaftsbehörde A._ im Hinblick auf die geplante Anordnung vormundschaftlicher Massnahmen zur Sitzung vom 18. Januar 2012 ein. X._ lehnte eine Teilnahme an der Sitzung ab. Am 18. Januar 2012 ordnete die Vormundschaftsbehörde über X._ eine Beistandschaft gemäss Art. 392 Ziff. 1 und Art. 393 Ziff. 2 ZGB an. Dem Beistand wurde aufgetragen, X._ bei der Regelung der administrativen und finanziellen Angelegenheiten, der Geltendmachung und Verwaltung der Leistungen der Sozialversicherungen (Krankenkasse, Invalidenversicherung, Ergänzungsleistungen usw.) zu helfen und per 18. Januar 2012 ein Inventar über die Vermögenswerte einzureichen. B.b Mit Entscheid vom 4. Juni 2012 wies das Departement des Innern des Kantons Solothurn eine Beschwerde des X._ gegen die Anordnung der Beistandschaft ab. Mit Urteil vom 2. Oktober 2012 gab das Verwaltungsgericht des Kantons Solothurn der von X._ gegen den Entscheid des Departementes des Innern erhobenen Beschwerde nicht statt. C. X._ (Beschwerdeführer) hat gegen das Urteil des Verwaltungsgerichts am 3. November 2012 (Postaufgabe) beim Bundesgericht Beschwerde in Zivilsachen erhoben. Er beantragt sinngemäss die Aufhebung der angeordneten Beistandschaft. Nachdem ihm eine Nachfrist zur Bezahlung des Kostenvorschusses angesetzt worden war, ersuchte der Beschwerdeführer am 26. November 2012 sinngemäss um unentgeltliche Rechtspflege. Es sind keine Vernehmlassungen eingeholt worden.