Bundesamtes für Justiz vom 19. Februar 2001), hat sich ergeben: A.- Am 24. November 2000 ersuchte das Bundesministerium für Justiz der Republik Österreich gestützt auf den Haftbefehl des Landesgerichtes Feldkirch vom 17. November 2000 um Auslieferung der österreichischen und tansanischen Staatsangehörigen X._. Dieser wird im Haftbefehl zur Last gelegt, am 4. Oktober 2000 mindestens 2,4 kg Kokain von Rio de Janeiro über München nach Feldkirch gebracht zu haben; rund 260 Gramm des Stoffes habe sie am 18. Oktober 2000 in die Schweiz eingeführt. Überdies habe X._ in der Zeit von 1998 bis zum 18. Oktober 2000 in Vorarlberg Kokain konsumiert. X._ wurde am 18. Oktober 2000 in Zürich in Untersuchungshaft versetzt. Am 11. Dezember 2000 verfügte das Bundesamt für Justiz die Auslieferungshaft. Am 23. Januar 2001 beantragte die Bezirksanwaltschaft Zürich dem Bundesamt für Justiz, den zuständigen Behörden Österreichs das Begehren um Übernahme der Strafverfolgung für die in der Schweiz verübte Widerhandlung gegen das Betäubungsmittelgesetz zu stellen. B.- Am 19. Februar 2001 bewilligte das Bundesamt für Justiz die Auslieferung an Österreich für die dem Auslieferungsersuchen vom 24. November 2000 zugrunde liegenden Taten. Dem Antrag der Bezirksanwaltschaft Zürich vom 23. Januar 2001 gab es statt. C.- X._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, den Entscheid des Bundesamtes aufzuheben; auf das Auslieferungsbegehren sei nicht einzutreten; eventuell sei es abzuweisen. D.- Das Bundesamt hat sich vernehmen lassen mit dem Antrag, die Beschwerde abzuweisen. X._ hat eine Replik eingereicht. Das Bundesgericht zieht im Verfahren