Bundesamtes für Justiz vom 19. Februar 2001), hat sich ergeben:
A.- Am 24. November 2000 ersuchte das Bundesministerium für Justiz der Republik Österreich gestützt auf den Haftbefehl des Landesgerichtes Feldkirch vom 17. November 2000 um Auslieferung der österreichischen und tansanischen Staatsangehörigen X._. Dieser wird im Haftbefehl zur Last gelegt, am 4. Oktober 2000 mindestens 2,4 kg Kokain von Rio de Janeiro über München nach Feldkirch gebracht zu haben; rund 260 Gramm des Stoffes habe sie am 18. Oktober 2000 in die Schweiz eingeführt. Überdies habe X._ in der Zeit von 1998 bis zum 18. Oktober 2000 in Vorarlberg Kokain konsumiert.
X._ wurde am 18. Oktober 2000 in Zürich in Untersuchungshaft versetzt. Am 11. Dezember 2000 verfügte das Bundesamt für Justiz die Auslieferungshaft.
Am 23. Januar 2001 beantragte die Bezirksanwaltschaft Zürich dem Bundesamt für Justiz, den zuständigen Behörden Österreichs das Begehren um Übernahme der Strafverfolgung für die in der Schweiz verübte Widerhandlung gegen das Betäubungsmittelgesetz zu stellen.
B.- Am 19. Februar 2001 bewilligte das Bundesamt für Justiz die Auslieferung an Österreich für die dem Auslieferungsersuchen vom 24. November 2000 zugrunde liegenden Taten. Dem Antrag der Bezirksanwaltschaft Zürich vom 23. Januar 2001 gab es statt.
C.- X._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, den Entscheid des Bundesamtes aufzuheben; auf das Auslieferungsbegehren sei nicht einzutreten; eventuell sei es abzuweisen.
D.- Das Bundesamt hat sich vernehmen lassen mit dem Antrag, die Beschwerde abzuweisen.
X._ hat eine Replik eingereicht.
Das Bundesgericht zieht im Verfahren

nach Art. 36a OG in Erwägung:
1.- a) Auslieferungsfragen sind in erster Linie aufgrund der massgebenden Staatsverträge zu entscheiden. Im vorliegenden Fall gilt das Europäische Auslieferungsübereinkommen vom 13. Dezember 1957 (EAUe; SR 0.353. 1), dem sowohl die Schweiz als auch Österreich beigetreten sind, ferner der ergänzende Vertrag zwischen diesen beiden Staaten vom 13. Juni 1972 (Zusatzvertrag, ZV; SR 0.353. 916.31). Fehlt eine staatsvertragliche Regelung oder ordnet sie die Voraussetzungen und Bedingungen der Auslieferung nicht abschliessend, gelangen die Vorschriften des internen schweizerischen Rechtes zur Anwendung (<ref-ruling> E. 1 mit Hinweisen), also diejenigen des Rechtshilfegesetzes (IRSG; SR 351. 1) und der dazugehörigen Verordnung (IRSV; SR 351. 11).
b) Die Beschwerdeführerin macht geltend, es fehle ein dem EAUe und dem ZV genügendes Auslieferungsbegehren.
Der Einwand ist unbegründet. In den vorinstanzlichen Akten liegt das Auslieferungsersuchen des Bundesministeriums für Justiz der Republik Österreich vom 24. November 2000. Es ist in Schriftform abgefasst und unterzeichnet. Es genügt den Anforderungen von Art. 12 EAUe und Art. VII ZV.
Soweit die Beschwerdeführerin insoweit eine Verletzung des rechtlichen Gehörs geltend machen sollte, wäre die Beschwerde ebenfalls unbegründet. Die Vorinstanz hat am 14. Dezember 2000 eine Kopie des formellen Auslieferungsersuchens zwecks Anhörung der Beschwerdeführerin an die Haftkoordination der Kantonspolizei Zürich gesandt. Die Kantonspolizei hat die Beschwerdeführerin am 19. Dezember 2000 zum Ersuchen befragt. Deren Vertreter war dabei anwesend.
Anlässlich der Befragung wurde der Beschwerdeführerin der Haftbefehl des Landesgerichtes Feldkirch, auf den sich das formelle Auslieferungsersuchen stützt, vorgelegt. Die Beschwerdeführerin wusste genau, worum es ging. Dass dies ihrem Vertreter nicht bekannt gewesen sei, behauptet dieser nicht. Inwiefern unter diesen Umständen der Anspruch auf rechtliches Gehör verletzt sein könnte, ist nicht ersichtlich.
c) Die Beschwerdeführerin bringt vor, die Auslieferung sei zu verweigern und die Strafverfolgung der in Österreich verübten Taten von der Schweiz zu übernehmen. Die Beschwerdeführerin beruft sich auf <ref-law>. Danach kann die Schweiz unter bestimmten Voraussetzungen wegen einer im Ausland begangenen Tat auf Ersuchen des Tatortstaates an seiner Stelle die Strafgewalt ausüben. Die Übernahme der Strafverfolgung durch die Schweiz gemäss dieser Bestimmung kommt schon deshalb nicht in Betracht, weil Österreich kein entsprechendes Ersuchen gestellt hat. Österreich verlangt vielmehr die Auslieferung. Dass diese nach dem EAUe unzulässig wäre, macht die Beschwerdeführerin - abgesehen vom unbegründeten Einwand des fehlenden formellen Auslieferungsersuchens - nicht geltend und ist auch nicht ersichtlich.
Die Schweiz ist damit zur Auslieferung verpflichtet (Art. 1 EAUe).
Die Staatsanwaltschaft Feldkirch ist bereit, die Strafverfolgung auch des in der Schweiz verübten Teils der Taten zu übernehmen. Die in Österreich und der Schweiz begangenen strafbaren Handlungen, zwischen denen ein enger sachlicher Zusammenhang besteht, können somit in Österreich gesamthaft beurteilt werden. Das ist prozessökonomisch sinnvoll.
Die Gesamtbeurteilung in Österreich liegt auch im Interesse der Wiedereingliederung. Die Beschwerdeführerin ist österreichische Staatsangehörige; sie hat vor der Verhaftung in Österreich gewohnt und möchte dort auch in Zukunft ihren Wohnsitz behalten; sie fühlt sich zudem nach ihren Angaben in Österreich verwurzelt. Demgegenüber macht sie nicht geltend, zur Schweiz eine nähere Beziehung zu haben. Das ergibt sich auch aus den Akten nicht. Bestrebungen zur Wiedereingliederung der Beschwerdeführerin sind deshalb besser in Österreich durchzuführen und haben dort mehr Aussicht auf Erfolg.
Die Beschwerdeführerin bringt vor, sie müsse als Frau dunkler Hautfarbe im österreichischen Strafvollzug mit fremdenfeindlich begründeten Benachteiligungen rechnen; im schweizerischen Strafvollzug sei das nicht oder viel weniger der Fall. Das Vorbringen ist unbehelflich. Die Beschwerdeführerin nennt keine konkreten Anhaltspunkte, die eine Diskriminierung im österreichischen Strafvollzug erwarten lassen.
In Österreich gilt wie in der Schweiz die Europäische Menschenrechtskonvention. Dass Österreich die Garantien der Konvention beachtet, ist zu vermuten (vgl. <ref-ruling> E. 5b und c). Sollte die Beschwerdeführerin im österreichischen Strafvollzug diskriminiert werden, kann sie von den in Österreich zur Verfügung stehenden Rechtsmitteln Gebrauch machen und gegebenenfalls den Europäischen Gerichtshof für Menschenrechte anrufen.
2.- Die Beschwerde wird abgewiesen.
Da sie aussichtslos war, kann das Gesuch um unentgeltliche Rechtspflege und Verbeiständung nach Art. 152 OG nicht bewilligt werden.
Auf die Erhebung von Kosten wird verzichtet.

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3.- Es werden keine Kosten erhoben.
4.- Dieses Urteil wird der Beschwerdeführerin und dem Bundesamt für Justiz, Abteilung Internationale Rechtshilfe, Sektion Auslieferung, schriftlich mitgeteilt.
_
Lausanne, 10. Mai 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: