Sachverhalt:
A. Auf Antrag der Vormundschaftsbehörde A._ vom 30. August 2010 wies das Regierungsstatthalteramt Bern-Mittelland X._ (geb. 1961) mit Verfügung vom 14. Dezember 2010 für unbestimmte Zeit ins Psychiatriezentrum B._ ein. Die Einweisung stützte sich auf ein Gutachten der Psychiatrischen Dienste C._ AG, Psychiatrischer Dienst D._ (nachfolgend "Psychiatrischer Dienst"), vom 29. November 2010, wonach X._ an einer anhaltenden wahnhaften Störung (ICD-10: F22.0) leide. Die Rekurskommission für fürsorgerische Freiheitsentziehungen des Obergerichts des Kantons Bern erwog, das Regierungsstatthalteramt habe in keiner Weise begründet, warum der Patientin die notwendige persönliche Fürsorge zwingend nur im stationären Rahmen in einer Klinik erbracht werden kann. Sie hiess den Rekurs gut und verfügte die Entlassung aus der Klinik (Urteil vom 20. Dezember 2010).
B. B.a Am 15. Februar 2011 führte die Polizei X._ im Rahmen der zwangsweisen Räumung ihrer Wohnung dem Psychiatrischen Dienst zur ärztlichen Beurteilung vor. Dieser stellte dem Regierungsstatthalteramt Bern-Mittelland gleichentags den Antrag, für X._ eine fürsorgerische Freiheitsentziehung zu verfügen. Eine weitere Gefährdungsmeldung erfolgte am 23. Februar 2011 durch die Kantonspolizei von E._. X._, nunmehr obdachlos, hatte sich in der Nacht vom 21. Februar 2011 beim Bahnhof A._ zweimal bei der Polizei gemeldet und war darauf der Notfallpsychiaterin im Spital F._ vorgeführt worden.
B.b Am 10. März 2011 entschied die Regierungsstatthalterin Stv. IIIc des Regierungsstatthalteramts Bern-Mittelland, X._ gestützt auf das psychiatrische Gutachten vom 29. November 2010 für unbestimmte Zeit in das Psychiatriezentrum B._ einzuweisen; eine Entlassung müsse vom Regierungsstatthalteramt bewilligt und die Massnahme mindestens einmal jährlich überprüft werden.
B.c X._ rekurrierte erfolglos gegen den Entscheid des Regierungsstatthalteramts. Mit Entscheid vom 16. März 2011 wies die Rekurskommission für fürsorgerische Freiheitsentziehungen der Zivilabteilung des Obergerichts des Kantons Bern den Rekurs ab.
C. Mit Eingabe vom 17. April 2011 wendet sich X._ (nachfolgend "Beschwerdeführerin") an das Bundesgericht. Sie beantragt, die fürsorgliche Freiheitsentziehung unverzüglich aufzuheben. Die Rekurskommission hat auf eine Vernehmlassung verzichtet; das Regierungsstatthalteramt hat sich nicht vernehmen lassen.

Erwägungen:
1. 1.1 Mit ihrer rechtzeitig (<ref-law>) eingereichten Beschwerde wehrt sich die Beschwerdeführerin gegen den Endentscheid (<ref-law>) einer letzten kantonalen Instanz (<ref-law>) über eine fürsorgerische Freiheitsentziehung (Art. 72 Abs. 2 lit. b Ziff. 6 BGG). Auf die Beschwerde in Zivilsachen ist demnach grundsätzlich einzutreten.
1.2 Gegenstand der Beschwerde ist indes einzig der Entscheid der letzten kantonalen Instanz (<ref-law>). Die Beschwerde ist daher unzulässig, soweit die Beschwerdeführerin den Vorwurf erhebt, das Regierungsstatthalteramt beziehe sich in seinem Entscheid erneut auf das psychiatrische Gutachten vom 29. November 2010.
1.3 Im ordentlichen Beschwerdeverfahren sind vor Bundesgericht in rechtlicher Hinsicht alle Rügen gemäss Art. 95 f. BGG zulässig. Das Bundesgericht wendet das Recht in diesem Bereich von Amtes wegen an (<ref-law>) und prüft mit freier Kognition, ob der angefochtene Entscheid Recht verletzt. Es befasst sich aber nur mit formell ausreichend begründeten Rügen (<ref-ruling> E. 1.1 S. 104 f.; s. auch Urteil 5A_92/2008 vom 25. Juni 2008 E. 2.3). Hingegen legt das Bundesgericht seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Gegen die tatsächlichen Feststellungen der Vorinstanz kann die Beschwerdeführerin lediglich einwenden, sie seien offensichtlich unrichtig, das heisst willkürlich (<ref-ruling> E. 1.2.2. S. 252, mit Hinweisen), oder würden auf einer anderen Rechtsverletzung im Sinne von <ref-law> beruhen (Urteil 5A_374/2010 vom 9. Juli 2010 E. 1). In der Beschwerde ist überdies darzutun, inwiefern die Behebung des gerügten Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>; <ref-ruling> E. 2.2.2 S. 22).
Für alle Vorbringen betreffend die Verletzung verfassungsmässiger Rechte gilt das strenge Rügeprinzip (<ref-law>; <ref-ruling> E. 1.4.2 S. 254). Die Beschwerdeschrift muss die wesentlichen Tatsachen und eine kurz gefasste Darlegung darüber enthalten, welche verfassungsmässigen Rechte bzw. welche Rechtssätze inwiefern durch den angefochtenen Erlass oder Entscheid verletzt worden sind. Das Bundesgericht prüft demnach nur klar und detailliert erhobene und soweit möglich belegte Rügen; auf ungenügend begründete Rügen und rein appellatorische Kritik am angefochtenen Entscheid tritt es nicht ein (<ref-ruling> E. 2.2 S. 246).
2. Eine mündige oder entmündigte Person darf wegen Geisteskrankheit, Geistesschwäche, Trunksucht, anderen Suchterkrankungen oder schwerer Verwahrlosung in einer geeigneten Anstalt untergebracht oder zurückbehalten werden, wenn ihr die nötige persönliche Fürsorge nicht anders erwiesen werden kann (<ref-law>). Sowohl für die Einweisung als auch die Zurückbehaltung in einer Anstalt sind die Prinzipien der Verhältnismässigkeit und der Subsidiarität zu berücksichtigen. Vorausgesetzt ist mit anderen Worten, dass die betroffene Person infolge der im Gesetz umschriebenen Schwächezustände persönlicher Fürsorge bedarf, die ihr nur in einer Anstalt gewährt werden kann (<ref-ruling> E. 5 S. 217 f.). Die Verhältnismässigkeit einer fürsorgerischen Freiheitsentziehung ist insbesondere bei einer erheblichen Selbstgefährdung gegeben, das heisst dann, wenn die betroffene Person - zum Beispiel mangels Einsicht in eine behandlungsbedürftige körperliche Krankheit oder aufgrund ihrer Suizidalität - ihre eigene Gesundheit oder ihr Leben ernstlich gefährdet (vgl. SPIRIG, Zürcher Kommentar, 1995, N 321 ff. zu <ref-law>). Zu berücksichtigen ist ferner die Belastung, welche die Person für ihre Umgebung bedeutet (<ref-law>). Unter diesem Gesichtspunkt ist auch einer allfälligen Fremdgefährdung Rechnung zu tragen. Eine solche liegt vor, wenn die betroffene Person zum Beispiel wegen ihres aggressiven oder gefährlichen Verhaltens eine Gefahr für Leib und Leben von Drittpersonen darstellt (vgl. Urteil 6B_786/2008 vom 12. Mai 2009 E. 2.2) oder sonstwie das Wohlbefinden und die seelische Gesundheit anderer auf erhebliche und elementare Weise beeinträchtigt (SPIRIG, a.a.O., N 350 zu <ref-law>). <ref-law> schliesslich schreibt ausdrücklich vor, dass die von der fürsorgerischen Freiheitsentziehung betroffene Person entlassen werden muss, sobald ihr Zustand es erlaubt.
3. 3.1 Wie in ihrem Rekurs an die Vorinstanz macht die Beschwerdeführerin in tatsächlicher Hinsicht auch vor Bundesgericht geltend, ihre Ärztin, Dr. med. G._, habe in den Berichten an den Regierungsstatthalter vom 17. September 2010 und vom 1. März 2011 bestätigt, dass die Voraussetzungen für eine fürsorgerische Freiheitsentziehung nicht erfüllt seien, da keine Verwahrlosung, keine Fremd- und Selbstgefährdung sowie keine Geisteskrankheit vorliege. Die Beschwerdeführerin bemängelt, diese beiden Berichte hätten der Rekurskommission für die Beurteilung der Situation gar nicht zur Verfügung gestanden. Sie hält dem Regierungsstatthalteramt vor, es habe diese "Akten respektive Kenntnisse" unterdrückt.
Die Vorwürfe sind unbegründet. Das Schreiben vom 1. März 2011 liegt in den Akten der Rekurskommission; dasjenige vom 17. September 2010 ist im FFE-Entscheid des Regierungsstatthalteramts Bern-Mittelland vom 14. Dezember 2010, der ebenfalls Bestandteil der Akten der Rekurskommission ist, inhaltlich umfassend wiedergegeben.
3.2 Die Beschwerdeführerin führt weiter aus, sie könne nicht nachvollziehen, dass das Obergericht für eine fürsorgerische Freiheitsentziehung im März 2011 das psychiatrische Gutachten vom 29. November 2010 noch als aktuell bezeichnet.
Wie im Fall der Entmündigung wegen Geisteskrankheit oder Geistesschwäche, bei der ein Gutachten zwingend eingeholt werden muss (<ref-law>), gilt auch für den Beizug von Sachverständigen im Hinblick auf die Unterbringung von psychisch Kranken (<ref-law>), dass die kantonale Instanz ihren Entscheid nicht auf ein zu altes Gutachten stützen darf (s. dazu das Urteil des Bundesgerichts vom 17. Dezember 1957, in: ZVW 1959 S. 23). Die Frage, ob ein psychiatrisches Gutachten "zu alt" oder noch "aktuell" ist, um der zuständigen Behörde im Zeitpunkt der Anordnung einer fürsorgerischen Freiheitsentziehung als Entscheidhilfe dienen zu können, lässt sich nicht allgemein, sondern nur vom Sachrichter anhand der Umstände des Einzelfalles beantworten (vgl. zur Entmündigung BGE 39 II 1 E. 3 S. 4). Sind seit der letzten Begutachtung - wie im vorliegenden Fall - erst wenige Monate verstrichen, so drängt sich die neuerliche Einholung einer Expertise jedenfalls dann nicht ohne Weiteres auf, wenn sich auch die Verhältnisse seit der letzten Begutachtung nicht massgeblich verändert haben. Dass seit Erstellung des Gutachtens vom 29. November 2010 Umstände eingetreten wären, die eine neue Untersuchung erforderlich erscheinen lassen, macht die Beschwerdeführerin indessen nicht geltend und ist auch nicht ersichtlich. Das psychiatrische Gutachten vom 29. November 2010 ist hinsichtlich seiner Aktualität daher nicht zu beanstanden.
4. 4.1 Gemäss dem psychiatrischen Gutachten vom 29. November 2010 leidet die Beschwerdeführerin an einer schweren psychischen Erkrankung. Gestützt auf alle vorliegenden Unterlagen und erhobenen Befunde sei bei ihr die Diagnose einer anhaltenden wahnhaften Störung (ICD-10: F22.0) zu stellen. Die Rekurskommission befand, hierbei handle es sich um einen geistigen Schwächezustand im Sinne des Gesetzes, der medizinischer Behandlung bedürfe.
4.2 Die erwähnten Berichte der Ärztin vom 17. September 2010 und 1. März 2011, auf die sich die Beschwerdeführerin beruft (E. 3.1), sind nicht geeignet, die tatsächlichen Feststellungen der Vorinstanz über den Gesundheitszustand der Beschwerdeführerin oder die rechtliche Qualifikation dieses Zustandes als Geisteskrankheit in Zweifel zu ziehen. Im Bericht vom 1. März 2011 weist die Ärztin ausdrücklich darauf hin, sie sei kaum in der Lage, die Notwendigkeit einer Massnahme nach <ref-law> zu beurteilen. Überdies äussert sie sich lediglich zur Frage der Selbst- und Fremdgefährdung, nicht aber zum Gesundheitszustand der Beschwerdeführerin. Entgegen dem, was die Beschwerdeführerin anzunehmen scheint, kann dieses Schreiben daher nicht als "Bestätigung" des Berichts vom 17. September 2010 gelten, in welchem die Ärztin schrieb, sie habe bei der Beschwerdeführerin keine Hinweise auf das Vorliegen einer Geisteskrankheit oder von Verwahrlosung festgestellt. Soweit sich die Beschwerdeführerin direkt auf die zitierten älteren Feststellungen ihrer Ärztin beruft, zeigt sie nicht auf, inwiefern die Vorinstanz den Sachverhalt offensichtlich unrichtig festgestellt hat, indem sie sich hauptsächlich auf das ausführlichere und neuere Gutachten vom 29. November 2010 stützte. Dass der ärztliche Bericht vom 17. September 2010 ein für den Entscheid wesentliches Beweismittel gewesen wäre, das die Vorinstanz nicht ohne sachlichen Grund hätte unberücksichtigt lassen dürfen, oder dass die Vorinstanz Sinn und Tragweite der darin enthaltenen Aussagen offensichtlich verkannt hätte, ist auch nicht ersichtlich. Mit der Rekurskommission ist somit davon auszugehen, dass die Beschwerdeführerin an einem Schwächezustand im Sinne von <ref-law> leidet.
5. 5.1 Die Beschwerdeführerin beanstandet weiter, es treffe nicht zu, dass ihr die nötige persönliche Fürsorge nicht anders als mittels einer fürsorgerischen Freiheitsentziehung erwiesen werden könne. Als mildere Massnahme bezeichnet sie die Zurverfügungstellung einer Sozialwohnung und die Übernahme der gesundheitlichen Betreuung, auf die sie gemäss <ref-law> Anspruch habe. Dadurch werde auch das Umfeld, das heisst die öffentliche Hand, viel weniger stark belastet als durch die Klinikeinweisung.
5.2 Mit Bezug auf die Frage der Verhältnismässigkeit der fürsorgerischen Freiheitsentziehung stützt sich die Rekurskommission wiederum auf das erwähnte Gutachten vom 29. November 2010. Danach reicht eine ambulante psychiatrisch-psychotherapeutische Behandlung zum jetzigen Zeitpunkt nicht aus, da die Beschwerdeführerin keine Einsicht in ihre Krankheit habe und eine medikamentöse Behandlung aufgrund von niedriger Compliance eher fraglich wäre. Für die Weiterbehandlung empfiehlt das Gutachten deshalb eine stationäre psychiatrische Behandlung. Die Rekurskommission führt weiter aus, die Beschwerdeführerin befinde sich in einer unhaltbar einsamen Situation, in der sie von sich aus in eine Opferhaltung gerate. Sie sei isoliert, habe Probleme mit den Behörden und sei mittlerweile auch obdachlos. Die Rekurskommission kommt zum Schluss, aktuell könne der Beschwerdeführerin die nötige persönliche Fürsorge nur in einem stationären Rahmen gewährt werden. Bei einer Entlassung im heutigen Zeitpunkt sei davon auszugehen, dass sie innert kürzester Zeit wieder in dieselbe Situation geriete, welche zur Einweisung führte.
5.3 Als einzigen Grund, weshalb eine fürsorgerische Freiheitsentziehung im Fall der Beschwerdeführerin unausweichlich sei, nennt die Vorinstanz die Rückfallgefahr, die sie als gross einschätzt. Offenbar stützt sie sich dabei auf SPIRIG (a.a.O., N 303 zu <ref-law>). Nach der Ansicht dieses Autors darf ein Patient trotz Besserung seines ursprünglichen Zustandes in der Klinik zurückbehalten werden, wenn die Nachbetreuung oder soziale (Wieder-)Eingliederung noch nicht gewährleistet ist und aufgrund aller Erfahrung begründeter Anlass zur Annahme besteht, dass sich der Patient der notwendigen Anschlussbehandlung entziehen und so den Besserungserfolg sofort wieder zunichte machen würde und in den Zustand zurückgeriete, der zur Einweisung führte und zur erneuten Klinikeinweisung führen müsste. Den "Rückfall" erblickt die Vorinstanz augenscheinlich in der "unhaltbar einsamen Situation", in der sich die Beschwerdeführerin befinde und in der sie "von sich aus in eine Opferhaltung" gerate; die Beschwerdeführerin sei isoliert, habe Probleme mit den Behörden und sei mittlerweile auch obdachlos (vgl. E. 5.2). Ansonsten enthält der angefochtene Entscheid keinerlei konkrete Ausführungen zur Frage, warum die Beschwerdeführerin auf Hilfe angewiesen ist, die ihr nur in einem stationären Rahmen gewährt werden kann.
Jedenfalls ist der alleinige Umstand, dass der Patient bei einer sofortigen Entlassung keinen Wohnplatz hat, kein Grund für eine zwangsweise Anstaltseinweisung (vgl. <ref-ruling> E. 3 S. 14). Aus dem angefochtenen Entscheid geht auch nicht hervor, dass die Beschwerdeführerin nicht in der Lage wäre, sich zu ernähren und zu pflegen, und deshalb zu verwahrlosen drohe. Vielmehr stellt die Rekurskommission fest, aus den Akten gehe "in keiner Weise hervor, dass die Wohnkompetenz der Rekurrentin eingeschränkt ist". Auch wenn für die ambulante Behandlung keine Gewähr besteht und folglich damit zu rechnen ist, dass die Wahnideen und der damit einhergehende Realitätsverlust anhalten werden, rechtfertigt nach der Rechtsprechung allein die Sicherstellung der medikamentösen Therapie die Aufrechterhaltung der fürsorgerischen Freiheitsentziehung nicht, solange aus dem Schwächezustand des Patienten keine konkrete Selbst- oder Fremdgefährdung zu erwachsen droht (Urteil 5A_312/2007 vom 10. Juli 2007 E. 2.3). Insofern kann der erwähnten Lehrmeinung von SPIRIG nicht vorbehaltslos gefolgt werden.
Die Rekurskommission stellt weder eine konkrete Selbst- noch eine konkrete Fremdgefährdung fest; aus dem Gutachten geht nichts anderes hervor. Auch an einer körperlichen Krankheit, für deren Behandlung eine Anstaltseinweisung erforderlich sein könnte (z.B. Diabetes mellitus, vgl. das Urteil 5A_51/2010 vom 2. Februar 2010 E. 3.1), leidet die Beschwerdeführerin offensichtlich nicht. Zwar gibt sie subjektiv verschiedene zum Teil diffuse Beschwerden und Einschränkungen an (Viren, Schmerzen im ganzen Körper). Diese konnten aber im Rahmen der ärztlichen Untersuchungen nicht objektiviert werden. Schliesslich enthält der angefochtene Entscheid selbst auch keine Ausführungen darüber, welche Belastung die Beschwerdeführerin für ihre Umgebung, insbesondere für ihre Familie darstelle (<ref-law>). Dass die Beschwerdeführerin "Probleme mit den Behörden" hat und der Ansicht ist, die Gemeinde müsse für sie eine Wohnung suchen, tut nichts zur Sache. Allein durch querulatorisches Verhalten gegenüber Behörden macht sich die Beschwerdeführerin nicht zu einer Belastung für ihre Umgebung (Urteil 5A_312/2007 vom 10. Juli 2007 E. 2.4).
5.4 Nach dem Gesagten erweist sich die Zurückbehaltung der Beschwerdeführerin als unverhältnismässig. Sie wird letztlich allein mit der Befürchtung begründet, die medikamentöse Therapie lasse sich im Rahmen einer ambulanten Behandlung nicht sicherstellen. Auch wenn Grund zur Annahme besteht, dass eine solche Therapie den Schwächezustand der Beschwerdeführerin zu beheben oder wenigstens zu lindern vermöchte, rechtfertigt dies allein eine fürsorgerische Freiheitsentziehung nicht, wenn nicht tatsächlich zu befürchten ist, dass die Beschwerdeführerin durch ihre wahnhafte Störung sich selbst oder andere gefährdet oder für ihre Umgebung eine unzumutbare Belastung darstellt (vgl. Urteil 5A_312/2007 vom 10. Juli 2007 E. 2.5).
6. Im Ergebnis ist die Beschwerde gutzuheissen, soweit darauf eingetreten werden kann. Der angefochtene Entscheid ist aufzuheben und die Beschwerdeführerin ist umgehend aus der Anstalt zu entlassen. Bei diesem Ausgang des Verfahrens sind keine Kosten zu erheben (<ref-law>). Der Beschwerdeführerin ist kein entschädigungspflichtiger Aufwand entstanden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist. Die Ziffern 1 und 2 des Entscheides der Rekurskommission für fürsorgerische Freiheitsentziehungen der Zivilabteilung des Obergerichts des Kantons Bern vom 16. März 2011 werden aufgehoben und die ärztliche Leitung des Psychiatriezentrums B._ wird angewiesen, die Beschwerdeführerin unverzüglich aus der Anstalt zu entlassen.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird der Beschwerdeführerin, deren Beistand H._, dem Regierungsstatthalteramt Bern-Mittelland und dem Obergericht des Kantons Bern, Zivilabteilung, Rekurskommission für fürsorgerische Freiheitsentziehungen, im Dispositiv und in voller Ausfertigung sowie dem Psychiatriezentrum B._ im Dispositiv schriftlich mitgeteilt.
Lausanne, 19. Mai 2011
Im Namen der II. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Escher V. Monn