Sachverhalt:
A. A._ (geboren am 12. Mai 2001) ist das gemeinsame Kind von Y._ und X._. Mit Urteil vom 23. Juni 2004 schied das Amtsgericht Bad Säckingen deren Ehe und bestimmte, dass die Eltern die elterliche Sorge für A._ weiterhin gemeinsam ausüben sollen. Mit Entscheid vom 27. Februar 2008 änderte das Amtsgericht Olten-Gösgen das Scheidungsurteil ab und teilte die elterliche Sorge allein der Mutter zu. Mit Schreiben vom 4. Dezember 2009 informierte die Psychotherapeutin von A._ die Vormundschaftsbehörde (heute: Sozialregion Olten) darüber, dass sich A._ aufgrund des Verhaltens des Vaters in einem massiven Loyalitätskonflikt befinde. Sie empfehle, die Besuche beim Vater auf ein Wochenende pro Monat einzuschränken. Am 14. Januar 2010 ging bei der Vormundschaftsbehörde zudem ein Schreiben von Y._ ein, in welchem diese einen Antrag auf Abänderung der Besuchsrechtsregelung stellte. Am 10. Februar 2010 wurde das Institut B._ in Bern mit der Erstellung eines Fachgutachtens über die Regelung des persönlichen Verkehrs von A._ mit seinem Vater beauftragt. Dieses lag am 27. Mai 2010 vor. Am 17. August 2010 beschloss die Vormundschaftsbehörde, das Besuchsrecht zwischen A._ und seinem Vater einzuschränken (begleitetes Besuchsrecht an einem Nachmittag pro Monat).
B. Gegen diesen Beschluss erhob X._ mit Eingabe vom 30. August 2010 Beschwerde an das Verwaltungsgericht des Kantons Solothurn. Darin beantragte er die ersatzlose Aufhebung des angefochtenen Beschlusses und die Einräumung eines unbegleiteten Besuchsrechts. Mit Urteil vom 19. Januar 2011 wies das Verwaltungsgericht die Beschwerde ab.
C. Mit Eingabe vom 25. Februar 2011 (Datum der Postaufgabe) gelangt X._ (nachfolgend Beschwerdeführer) an das Bundesgericht und stellt das folgende Rechtsbegehren: "Die Vormundschaftsbehörde Olten habe das Dokument vorzuweisen, wo der Satz 'der Tod würde auch A._ (meinen Sohn) befreien' stehen würde, der im Protokoll vom 27.06.06 der Vormundschaftsbehörde Olten, gegen Herr X._ verwendet worden ist, oder wird auf Schadenersatz für das nicht Präsentieren dieses Dokuments verklagt und eine Revision des ganzen Prozedur seit der Erteilung des Alleinsorgerechts an die Mutter 2006 bis zum letzten Urteil vom 19.01.11 muss angeordnet werden. (Den zitierten Satz hat die Vormundschaftsbehörde blind, ohne Prüfung, aus einer Aussage der Mutter abgeschrieben, die behaupten hatte, ich hätte diesen Satz geschrieben)."
Es wurden die Akten, aber keine Vernehmlassungen eingeholt.

Erwägungen:
1. Angefochten ist ein kantonal letztinstanzlicher Endentscheid in einer nicht vermögensrechtlichen Zivilsache. Die Beschwerde in Zivilsachen steht offen (Art. 72 Abs. 1, Art. 75 Abs. 1 und Art. 90 BGG).
2. Vor der Vorinstanz lautete das Rechtsbegehren wie folgt: "In Gutheissung der Beschwerde seien der angefochtene Beschluss der Vormundschaftsbehörde der Sozialregion Olten vom 17. August 2010 sowie der Entscheid des Departements des Innern vom 11. Oktober 2010 aufzuheben, es sei dem Beschwerdeführer ein unbegleitetes Besuchsrecht einzuräumen."
Das vor Bundesgericht gestellte Rechtsbegehren (siehe oben unter C.) zielt demgegenüber in erster Linie die Herausgabe eines bestimmten Dokuments, eventualiter auf Schadenersatz kombiniert mit einer Urteilsrevision. Dabei handelt es sich - im Vergleich zum vorinstanzlichen Verfahren - um ein gänzlich neues Rechtsbegehren, was nicht zulässig ist (<ref-law>). Das vor Bundesgericht gestellte Rechtsbegehren kann vorliegend auch nicht - im Lichte der Beschwerdebegründung sowie unter Berücksichtigung der Tatsache, dass es sich um eine Laienbeschwerde handelt - als ein sinngemäss gestelltes Begehren auf Einräumung eines unbegleiteten Besuchsrechts entgegengenommen werden. Die Beschwerde in Zivilsachen ist ein reformatorisches Rechtsmittel (<ref-law>), weshalb präzise Rechtsbegehren gestellt werden müssen (ebenso schon die Praxis zur Berufung unter dem OG: <ref-ruling> E. 1.2 S. 188); Begehren, die das Ergebnis in das Ermessen des Gerichts stellen, sind unzulässig (Urteil 5A_766/2008 vom 4. Februar 2009 E. 2.2 mit Hinweisen). Mithin hätte der Beschwerdeführer genau angeben müssen, in welchem Umfang (an welchen Tagen bzw. für welchen Zeitraum) er ein unbegleitetes Besuchsrecht beansprucht. Aus seiner Beschwerdeschrift lässt sich diesbezüglich nichts ableiten. Da die Minimalanforderungen an die Präzision des Rechtsbegehrens vorliegend unterschritten wurden, kann auf die Beschwerde nicht eingetreten werden.
3. Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (<ref-law>). Der Gegenpartei ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 24. Juni 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Der Gerichtsschreiber:
Hohl Schwander