gemäss Art. 13b Abs. 2 ANAG, hat sich ergeben:
A.- Der am ****** 1964 geborene, gemäss eigenen Angaben aus Tunesien stammende A._ stellte am 12. September 2000 unter dem Namen B._ in der Schweiz ein Asylgesuch, auf welches das Bundesamt für Flüchtlinge mit Verfügung vom 13. Oktober 2000 nicht eintrat; es wies ihn zudem aus dem Gebiet der Schweiz weg. Am 21. September 2000 wurde A._ als verschwunden registriert. Am 24. Dezember 2000 nahm ihn die Kantonspolizei Basel-Stadt wegen Verdachts auf Diebstahl fest; anschliessend wurde er in Untersuchungshaft versetzt. Am 30. Januar 2001 verurteilte der Strafgerichtspräsident Basel-Stadt A._ wegen mehrfachen Diebstahls sowie rechtswidrigen Verweilens in der Schweiz zu einer bedingten Gefängnisstrafe von vier Monaten sowie zu einer unbedingten Landesverweisung von drei Jahren; gleichentags wurde A._ aus der Untersuchungshaft entlassen und den Einwohnerdiensten des Kantons Basel-Stadt, Abteilung Internationale Kundschaft, als kantonaler Fremdenpolizei (im Folgenden: Fremdenpolizei) zugeführt. Am 31. Januar 2001 verfügte die Fremdenpolizei über A._ die Ausschaffungshaft. Am 2. Februar 2001 prüfte und genehmigte die Einzelrichterin für Zwangsmassnahmen im Ausländerrecht des Verwaltungsgerichts des Kantons Basel-Stadt (im Folgenden: Haftrichterin) die Ausschaffungshaft für einen Monat bis zum 1. März 2001. Mit Entscheid vom 26. Februar 2001 genehmigte die Haftrichterin eine Haftverlängerung bis zum 31. März 2001. Am 22. März 2001 ersuchte A._ unter dem Namen C._ bei der Fremdenpolizei um Asyl; diese leitete das Gesuch tags darauf an das Bundesamt für Flüchtlinge weiter.
Am 28. März 2001 verfügte die Haftrichterin eine weitere Haftverlängerung bis zum 30. Juni 2001. Am 20. April 2001 wurde A._ in das Inselspital Bern (Bewachungsstation U1) eingeliefert.
B.- Gegen die Verfügung vom 28. März 2001 hat A._ mit Schreiben vom 17. April (Postaufgabe:
19. April) 2001 und vom 18. April (Postaufgabe: 20. April) 2001 beim Bundesgericht Beschwerde erhoben. Er beantragt, in ein Asylbewerberzentrum verlegt zu werden. Er hat zudem zwei Schreiben (datiert vom 10. und vom 18. April 2001) verfasst, die dem Eidgenössischen Justiz- und Polizeidepartement zugegangen und an das Bundesgericht weitergeleitet worden sind.
Die Fremdenpolizei beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Die Haftrichterin schliesst auf Abweisung der Beschwerde. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Der Beschwerdeführer hat sich nicht mehr zur Sache geäussert.

Das Bundesgericht zieht in Erwägung:
1.- Die Verwaltungsgerichtsbeschwerde hat die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift des Beschwerdeführers oder seines Vertreters zu enthalten (Art. 108 Abs. 2 OG). Sie muss sich sachbezogen mit dem angefochtenen Entscheid auseinandersetzen (<ref-ruling> ff.). Bei Laienbeschwerden gegen die Genehmigung der Ausschaffungshaft stellt das Bundesgericht indessen keine hohen Anforderungen an die Beschwerdebegründung (vgl.
BGE 122 I 275 E. 3b S. 277). Ist daraus ersichtlich, dass sich der Betroffene - wie hier - (zumindest auch) gegen seine Haft wendet, nimmt es entsprechende Eingaben als Verwaltungsgerichtsbeschwerden entgegen.
2.- Die zuständige Behörde kann einen Ausländer in Ausschaffungshaft nehmen bzw. in dieser belassen, wenn die Voraussetzungen von Art. 13b des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) erfüllt sind. Danach ist erforderlich, dass ein erstinstanzlicher, nicht notwendigerweise auch rechtskräftiger, Weg- oder Ausweisungsentscheid vorliegt (vgl. <ref-ruling> E. 2a S. 61), dessen Vollzug (z.B. wegen fehlender Reisepapiere) noch nicht möglich, jedoch absehbar ist. Zudem muss einer der in Art. 13b Abs. 1 ANAG genannten Haftgründe bestehen (<ref-ruling> E. 1 S. 3), die Ausschaffung rechtlich und tatsächlich möglich sein (Art. 13c Abs. 5 lit. a ANAG; vgl. <ref-ruling> E. 3 S. 152 ff.) und die Papierbeschaffung mit dem nötigen Nachdruck verfolgt werden (Art. 13b Abs. 3 ANAG; Beschleunigungsgebot; <ref-ruling> ff.). Die Haft darf höchstens drei Monate dauern; stehen dem Vollzug der Wegweisung besondere Hindernisse entgegen, so kann die Haft mit Zustimmung der kantonalen richterlichen Behörde um höchstens sechs Monate verlängert werden (Art. 13b Abs. 2 ANAG).
3.- a) Das Bundesamt für Flüchtlinge hat den Beschwerdeführer am 13. Oktober 2000 aus dem Gebiet der Schweiz weggewiesen.
Dem Vollzug der Wegweisung stehen besondere Hindernisse entgegen, da die Identität des Beschwerdeführers nach wie vor nicht feststeht. Der Haftgrund der Untertauchensgefahr (Art. 13b Abs. 1 lit. c ANAG) ist gegeben, ist doch der Beschwerdeführer in der Schweiz unter verschiedenen Namen aufgetreten und hat sich zudem strafbar gemacht (vgl.
BGE 122 II 49 E. 2a S. 50/51).
b) Dem Beschleunigungsgebot sind die Behörden nachgekommen:
Mit Schreiben vom 15. Februar 2001 ersuchte die Fremdenpolizei die Tunesische Botschaft in Bern darum, die Identität des Beschwerdeführers festzustellen und gegebenenfalls einen Laissez-Passer auszustellen. Am 21. Februar 2001 wandte sich das Bundesamt für Flüchtlinge an die Schweizer Vertretung in Tunis. Für den 22. Februar 2001 wurde veranlasst, dass der Beschwerdeführer mit der tunesischen Botschaft telephonisch Kontakt aufnehmen konnte. Dieser verweigerte jedoch das Gespräch. Mit Schreiben vom 1. März 2001 ersuchte das Eidgenössische Justiz- und Polizeidepartement die tunesische Botschaft um die Ausstellung eines Laissez-Passer für den Beschwerdeführer.
c) Im vorliegenden Fall ist über das neue Asylgesuch des Beschwerdeführers noch nicht entschieden worden. Es bestehen aber keine triftigen Gründe dafür, dass das Bundesamt für Flüchtlinge bzw. in zweiter Instanz die Schweizerische Asylrekurskommission den Asylentscheid nicht innert der gesetzlich vorgesehenen Haftdauer fällen würde. Aufgrund der Sachlage, wie sie vor der Haftrichterin bestanden hat, kann demnach gegenwärtig nicht davon ausgegangen werden, der Vollzug der Wegweisung sei angesichts des hängigen Asylgesuchs nicht innert absehbarer Frist möglich (vgl. <ref-ruling> E. 5b S. 384).
d) Der Beschwerdeführer macht geltend, er habe seit dem 24. Dezember 2000 nicht mehr essen können, und habe seither über 25 kg an Gewicht verloren.
Die Behörden sind dem Erfordernis, die Haft in geeigneten Räumlichkeiten zu vollziehen (Art. 13d Abs. 2 erster Satz ANAG) nachgekommen, indem sie den Beschwerdeführer mehrmals, zuletzt ins Inselspital in Bern, verlegt haben. Damit ist seine medizinische Versorgung sichergestellt.
Dass er sich durch den Hungerstreik allenfalls körperlich schädigt, lässt die Haftbelassung - soweit in deren Rahmen alle gebotenen und erforderlichen medizinischen Vorkehrungen getroffen wurden - nicht zum Vornherein als rechtswidrig erscheinen. Ein Hungerstreik bildet grundsätzlich keinen Grund, die Ausschaffungshaft zu beenden. Die Fremdenpolizei bzw. der Haftrichter haben sich lediglich im Rahmen der ordentlichen Haftprüfungen zu vergewissern, ob und wieweit aufgrund allfällig eingetretener körperlicher Beeinträchtigungen des Betroffenen eine Ausschaffung (auch bei Vorliegen allfälliger Reisepapiere) mittel- und längerfristig aus gesundheitlichen - d.h. tatsächlichen Gründen im Sinne von Art. 13c Abs. 5 lit. a ANAG - nicht möglich sein könnte (<ref-ruling> E. 3b S. 7, mit Hinweisen); nötigenfalls ist eine solche Überprüfung auch ausserhalb der ordentlichen Haftprüfungen vorzunehmen.
e) Der Beschwerdeführer ist möglicherweise psychisch angeschlagen, musste er doch mehrmals in die Psychiatrische Universitätsklinik Basel (PUK) bzw. ins Inselspital Bern eingewiesen werden, letztmals am 20. April 2001. In welchem Umfang sein psychischer Zustand abgeklärt wurde, ist aber nicht bekannt.
Einen psychisch Kranken im ordentlichen Haftregime zu belassen, kann ebenfalls gegen das Gebot verstossen, wonach die Haft in geeigneten Räumlichkeiten zu vollziehen ist (unveröffentlichtes Urteil vom 29. August 1997 i.S. Hassouna, E. 1b/bb). Im vorliegenden Fall ist anzunehmen, dass zurzeit dem Beschwerdeführer im Inselspital neben der körperlichen auch die nötige psychische Betreuung zukommt.
Hingegen fragt sich, ob aufgrund des psychischen Zustandes des Beschwerdeführers eine Ausschaffung zumutbar und zulässig ist (vgl. Art. 14a ANAG und Art. 3 EMRK). In besonderen Fällen kann die Verhältnismässigkeit der Ausschaffungshaft auch fraglich sein, wenn zwar nicht bleibende Unzumutbarkeit der Ausschaffung vorliegt, wohl aber vorübergehende Unzumutbarkeit oder Transportunfähigkeit von einer Dauer, welche die maximale Haftdauer von vornherein übersteigt (vgl. <ref-ruling> E. 3 sowie unveröffentlichtes Urteil vom 29. August 1997 i.S. Hassouna, E. 1b/cc). Eine nähere Abklärung drängt sich daher für den weiteren Verlauf der Haft - d.h. nötigenfalls schon vor einer zusätzlichen Verlängerung der Haft - auf; dabei genügt - da psychiatrische Gutachten erfahrungsgemäss viel Zeit in Anspruch nehmen - vorderhand eine vorläufige Beurteilung des Geisteszustandes des Beschwerdeführers aus psychiatrischer Sicht.
Es wird anschliessend der Fremdenpolizei und dem Haftrichter obliegen, daraus die notwendigen Schlüsse zu ziehen.
4.- Die Verwaltungsgerichtsbeschwerde ist nach dem Gesagten abzuweisen. Der Beschwerdeführer würde damit grundsätzlich kostenpflichtig (Art. 156 Abs. 1 OG). Angesichts seiner finanziellen Verhältnisse ist jedoch von der Erhebung einer Gerichtsgebühr abzusehen (Art. 153 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Es werden keine Kosten erhoben.
3.- Dieses Urteil wird dem Beschwerdeführer, den Einwohnerdiensten des Kantons Basel-Stadt, Abteilung Internationale Kundschaft als kantonale Fremdenpolizei, dem Verwaltungsgericht des Kantons Basel-Stadt, Einzelrichterin für Zwangsmassnahmen im Ausländerrecht, und dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 3. Mai 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: