gemäss Art. 13b Abs. 2 ANAG, hat sich ergeben: A.- Der am ****** 1964 geborene, gemäss eigenen Angaben aus Tunesien stammende A._ stellte am 12. September 2000 unter dem Namen B._ in der Schweiz ein Asylgesuch, auf welches das Bundesamt für Flüchtlinge mit Verfügung vom 13. Oktober 2000 nicht eintrat; es wies ihn zudem aus dem Gebiet der Schweiz weg. Am 21. September 2000 wurde A._ als verschwunden registriert. Am 24. Dezember 2000 nahm ihn die Kantonspolizei Basel-Stadt wegen Verdachts auf Diebstahl fest; anschliessend wurde er in Untersuchungshaft versetzt. Am 30. Januar 2001 verurteilte der Strafgerichtspräsident Basel-Stadt A._ wegen mehrfachen Diebstahls sowie rechtswidrigen Verweilens in der Schweiz zu einer bedingten Gefängnisstrafe von vier Monaten sowie zu einer unbedingten Landesverweisung von drei Jahren; gleichentags wurde A._ aus der Untersuchungshaft entlassen und den Einwohnerdiensten des Kantons Basel-Stadt, Abteilung Internationale Kundschaft, als kantonaler Fremdenpolizei (im Folgenden: Fremdenpolizei) zugeführt. Am 31. Januar 2001 verfügte die Fremdenpolizei über A._ die Ausschaffungshaft. Am 2. Februar 2001 prüfte und genehmigte die Einzelrichterin für Zwangsmassnahmen im Ausländerrecht des Verwaltungsgerichts des Kantons Basel-Stadt (im Folgenden: Haftrichterin) die Ausschaffungshaft für einen Monat bis zum 1. März 2001. Mit Entscheid vom 26. Februar 2001 genehmigte die Haftrichterin eine Haftverlängerung bis zum 31. März 2001. Am 22. März 2001 ersuchte A._ unter dem Namen C._ bei der Fremdenpolizei um Asyl; diese leitete das Gesuch tags darauf an das Bundesamt für Flüchtlinge weiter. Am 28. März 2001 verfügte die Haftrichterin eine weitere Haftverlängerung bis zum 30. Juni 2001. Am 20. April 2001 wurde A._ in das Inselspital Bern (Bewachungsstation U1) eingeliefert. B.- Gegen die Verfügung vom 28. März 2001 hat A._ mit Schreiben vom 17. April (Postaufgabe: 19. April) 2001 und vom 18. April (Postaufgabe: 20. April) 2001 beim Bundesgericht Beschwerde erhoben. Er beantragt, in ein Asylbewerberzentrum verlegt zu werden. Er hat zudem zwei Schreiben (datiert vom 10. und vom 18. April 2001) verfasst, die dem Eidgenössischen Justiz- und Polizeidepartement zugegangen und an das Bundesgericht weitergeleitet worden sind. Die Fremdenpolizei beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Haftrichterin schliesst auf Abweisung der Beschwerde. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Der Beschwerdeführer hat sich nicht mehr zur Sache geäussert.