(B 114448), hat sich ergeben:
A.- Das Amtsgericht Köln verurteilte X._ am 10. Juni 1998 wegen Einführung von Kokain in nicht geringer Menge zu einer Freiheitsstrafe von zwei Jahren und setzte die Vollstreckung der Strafe zur Bewährung aus. Die gegen dieses Urteil erhobene Berufung wies das Landgericht Köln am 6. Oktober 1998 ab. Da X._ weiterhin mit Kokain handelte und sich nicht an die Auflagen des Bewährungsbeschlusses hielt, widerrief das Amtsgericht Köln am 30. April 1999 die Strafaussetzung.
Am 19. November 1999 wurde X._ von der Kantonspolizei Zürich gestützt auf ein Ersuchen von Interpol Wiesbaden festgenommen. Das Bundesamt für Polizeiwesen ordnete am 22. November 1999 die Auslieferungshaft an. Das Justizministerium des Landes Nordrhein-Westfalen ersuchte am 26. November 1999 um Auslieferung von X._ zur Vollstreckung der Freiheitsstrafe, deren Aussetzung am 30. April 1999 widerrufen wurde, und zur Verfolgung der im Haftbefehl des Amtsgerichts Köln vom 22. November 1999 aufgeführten neuen Betäubungsmitteldelikte. Das Bundesamt für Polizeiwesen entsprach dem Ersuchen am 28. Januar 2000 für die ihm zu Grunde liegenden Straftaten.
B.- X._ hat gegen den Auslieferungsentscheid eine Verwaltungsgerichtsbeschwerde beim Bundesgericht erhoben.
Er stellt den Antrag, es sei der angefochtene Entscheid aufzuheben und die Auslieferung weder zur Strafverfolgung noch zur Strafvollstreckung zu bewilligen.
Das Bundesamt für Polizeiwesen ersucht um Abweisung der Beschwerde. Der Beschwerdeführer hält in der Replik vollumfänglich an seinem Antrag fest.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesamt für Polizeiwesen hat die Auslieferung des Beschwerdeführers gestützt auf das Europäische Auslieferungsübereinkommen vom 13. Dezember 1957 (EAUe; SR 0.353. 1), den dieses Übereinkommen ergänzenden und dessen Anwendung erleichternden Vertrag vom 13. November 1969 (SR 0.353. 913.61) und die Bestimmungen des Bundesgesetzes über internationale Rechtshilfe in Strafsachen vom 20. März 1981 (IRSG; SR 351. 1) bewilligt. Es ist der Ansicht, dass die formellen und materiellen Voraussetzungen für die Auslieferung erfüllt sind.
Der Beschwerdeführer macht demgegenüber geltend, das Auslieferungsersuchen sei unvollständig, da es nicht alle Angaben enthalte, die Art. 12 Abs. 2 EAUe verlange. Die Auslieferung zur Strafvollstreckung müsse ausserdem deshalb abgelehnt werden, weil der Widerruf der Strafaussetzung ohne Wahrung seiner Verteidigungsrechte im Abwesenheitsverfahren erfolgt sei.
2.- Art. 12 Abs. 2 EAUe umschreibt, welche Unterlagen einem Auslieferungsersuchen beizulegen sind. Erforderlich ist unter anderem eine Darstellung der Handlungen, derentwegen um Auslieferung ersucht wird. Dabei sind Zeit und Ort ihrer Begehung sowie ihre rechtliche Würdigung unter Bezugnahme auf die anwendbaren Gesetzesbestimmungen so genau wie möglich anzugeben (lit. b). Ferner bedarf es einer Abschrift der anwendbaren Gesetzesbestimmungen oder, sofern dies nicht möglich ist, eine Erklärung über das anwendbare Recht sowie eine möglichst genaue Beschreibung des Verfolgten und alle anderen zur Feststellung seiner Identität und Staatsangehörigkeit geeigneten Angaben (lit. c).
a) Nach Ansicht des Beschwerdeführers erfüllt das Ersuchen der deutschen Behörden die Anforderungen nach Art. 12 Abs. 2 EAUe zunächst insoweit nicht, als damit die Auslieferung zur Verfolgung der ihm vorgeworfenen neuen Drogendelikte verlangt wird. So enthalte der Haftbefehl des Amtsgerichts Köln vom 22. November 1999 keine Angabe des Orts der Taten. Es werde darin lediglich ausgeführt, es seien ihm im Dezember und Januar 1999 Drogen aus den Niederlanden in "seine Wohnung" geliefert worden, ohne darzulegen, wo sich diese Wohnung befunden habe. Der Tatort gehe daher aus dem Ersuchen nicht hervor.
Diese Rüge entbehrt offensichtlich der Grundlage.
Im erwähnten Haftbefehl wird die Wohnadresse des Beschwerdeführers in Köln angegeben, und es kann kein Zweifel bestehen, dass nach der Darstellung des Haftrichters die Drogenlieferungen an diese Adresse der den Behörden allein bekannten Wohnung des Beschwerdeführers erfolgt sein sollen.
Der Begriff der Wohnung ist unter diesen Umständen also entgegen der Behauptung des Beschwerdeführers keineswegs unbestimmt, er bezeichnet vielmehr den Tatort hinreichend genau.
Die schweizerischen Behörden sind zudem grundsätzlich an die Darstellung im Auslieferungsbegehren gebunden und haben nicht zu überprüfen, ob der Beschwerdeführer zur fraglichen Zeit tatsächlich in Köln gelebt hat und ob die Drogen tatsächlich in seine Wohnung nach Köln geliefert wurden. Eine Ausnahme von dieser Regel käme nur dann in Betracht, wenn das Ersuchen offensichtliche Fehler, Lücken oder Widersprüche enthielte oder wenn der Beschwerdeführer einen Alibibeweis gemäss <ref-law> zu erbringen vermöchte (<ref-ruling> E. 2b S. 281 f.; <ref-ruling> E. 1c S. 375 f.; <ref-ruling> E. 5c S. 88). Davon kann vorliegend jedoch keine Rede sein. Ist demnach auf Grund der massgebenden Sachverhaltsdarstellung von einem Tatort in Deutschland auszugehen, stösst der weitere erhobene Einwand, die deutschen Behörden seien zur Ahndung der dem Beschwerdeführer vorgeworfenen Drogendelikte gar nicht zuständig, ins Leere.
b) Der Beschwerdeführer hält das Auslieferungsbegehren auch in dem Umfang für ungenügend, als es zur Vollstreckung der Freiheitsstrafe, deren Aussetzung widerrufen wurde, gestellt wird. Er kritisiert, dass der vom Amtsgericht Köln am 10. Juni 1998 zugleich mit der Verurteilung gefasste Bewährungsbeschluss, in dem die Bewährungszeit und Auflagen festgesetzt wurden, von den deutschen Behörden nicht eingereicht wurde. Dieser Einwand geht fehl. Aus dem Widerrufsentscheid des Amtsgerichts Köln vom 30. April 1999 ergibt sich nicht nur die Bewährungszeit, sondern auch, an welche Auflagen die Bewährung im früheren Entscheid vom 10. Juni 1998 geknüpft worden waren und inwiefern der Beschwerdeführer sie verletzt hat. Dies genügt als Sachverhaltsdarstellung.
Anders als der Beschwerdeführer anzunehmen scheint, ist an dieser Stelle nicht zu prüfen, ob der Widerruf zu Recht erfolgt ist. Der Beschwerdeführer hätte dagegen ein Rechtsmittel ergreifen können, wenn er damit nicht einverstanden war. Er übersieht ferner, dass sich das Erfordernis der beidseitigen Strafbarkeit nicht auf den Widerruf des bedingten Strafvollzugs bezieht, eine Auslieferung also nicht nur dann zulässig ist, wenn die Strafe auch nach schweizerischem Recht hätte widerrufen werden müssen.
Die weitere Rüge, das deutsche Ersuchen sei auch deshalb unvollständig, weil darin der Wortlaut des im Widerrufsentscheid angewendeten § 56f des deutschen Strafgesetzbuchs nicht wiedergegeben werde, erweist sich ebenfalls als unbegründet. Es trifft zwar zu, dass diese Norm in der dem Auslieferungsbegehren beiliegenden Zusammenstellung der angewendeten Bestimmungen fehlt. Die Staatsanwaltschaft Köln reichte jedoch den Wortlaut der Bestimmung per Telefax nach, und der Beschwerdeführer hatte Gelegenheit, in dieses, vom Bundesamt für Polizeiwesen im bundesgerichtlichen Verfahren eingereichte Aktenstück (act. 41 der Beilagen zur Vernehmlassung) Einsicht zu nehmen. Der ursprüngliche Mangel wurde damit behoben. Im Übrigen ist nicht ersichtlich, dass dem Beschwerdeführer aus der erst nachträglich erfolgten Vorlage des Wortlauts von § 56f des deutschen Strafgesetzbuchs ein Nachteil erwachsen sein könnte, zumal sich dessen Inhalt sinngemäss bereits dem Widerrufsentscheid des Amtsgerichts Köln vom 30. April 1999 entnehmen liess.
3.- In materieller Hinsicht macht der Beschwerdeführer geltend, dass die Auslieferung zur Strafvollstreckung hätte abgelehnt werden müssen, weil der Widerrufsentscheid des Amtsgerichts Köln vom 30. April 1999 im Abwesenheitsverfahren ergangen sei und die Mindestrechte der Verteidigung nicht gewahrt worden seien.
Zur Begründung dieser Rüge beruft sich der Beschwerdeführer auf <ref-law>. Diese Bestimmung ist im vorliegenden Fall jedoch nicht anwendbar, da zu der darin geregelten Frage im Zweiten Zusatzprotokoll zum Europäischen Auslieferungsübereinkommen vom 17. März 1978 (SR 0.353. 12) eine staatsvertragliche Norm besteht, die <ref-law> vorgeht (<ref-law>). Nach Art. 3 des genannten Zusatzprotokolls kann der ersuchte Staat die Auslieferung einer Person zur Vollstreckung einer Strafe, die gegen sie in einem Abwesenheitsurteil verhängt worden ist, ablehnen, wenn nach seiner Auffassung in dem diesem Urteil vorangegangenen Verfahren nicht die Mindestrechte der Verteidigung gewährt worden sind, die anerkanntermassen jedem einer strafbaren Handlung Beschuldigten zustehen.
Im vorliegenden Fall ist unbestritten, dass bei Fällung des Strafurteils des Amtsgerichts Köln vom 10. Juni 1998 die Verteidigungsrechte des Beschwerdeführers gewahrt wurden. Hingegen erfolgte der Widerruf der damals beschlossenen Strafaussetzung am 30. April 1999 im Abwesenheitsverfahren, da der Beschwerdeführer in diesem Zeitpunkt unbekannten Aufenthalts war. Art. 3 des Zusatzprotokolls bezweckt, die Mindestrechte der Verteidigung des Verfolgten im ersuchenden Staat sicherzustellen. Die Bestimmung ist auf das Verfahren zugeschnitten, in dem das Strafurteil gefällt, also über die Schuld und das Strafmass entschieden wird. Ob sie darüber hinaus auch auf das Widerrufsverfahren Anwendung findet, wie dies der Beschwerdeführer geltend macht, braucht an dieser Stelle nicht entschieden zu werden. Das Amtsgericht Köln erachtete eine Anhörung des Beschwerdeführers für entbehrlich, weil er untergetaucht war, um sich dem Wiederrufs- und dem neuen Strafverfahren zu entziehen. Der Beschwerdeführer bestreitet diese Darstellung nicht. Nach der Rechtsprechung verletzt indessen in einem solchen Fall, in dem sich der Verfolgte der Justiz bewusst entzieht, die Fällung eines Abwesenheitsurteils die Verfahrensgarantien von Art. 6 EMRK nicht (<ref-ruling> E. 7 S. 404; <ref-ruling> E. 2a S. 230 f.; Mark E. Villiger, Handbuch der Europäischen Menschenrechtskonvention [EMRK], 2. Aufl. 1999, Rz. 474).
Im Übrigen verfügte das Gericht beim Entscheid über den Widerruf über kein Ermessen, da ein Widerruf aus mehreren Gründen offensichtlich geboten war. Unter diesen Umständen kann nicht von einer ungenügenden Wahrung der Verteidigungsrechte im Widerrufsverfahren gesprochen werden. Art. 3 des Zusatzprotokolls steht daher einer Auslieferung nicht entgegen.
4.- Aus diesen Gründen erweist sich die Verwaltungsgerichtsbeschwerde als unbegründet und ist daher abzuweisen.
Da die entsprechenden Voraussetzungen erfüllt sind, hat der Beschwerdeführer für das bundesgerichtliche Verfahren Anspruch auf unentgeltliche Rechtspflege (Art. 152 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Es wird dem Beschwerdeführer für das bundesgerichtliche Verfahren die unentgeltliche Rechtspflege gewährt:
a) Es werden keine Kosten erhoben.
b) Rechtsanwalt Dr. Markus Raess wird für das bundesgerichtliche Verfahren als amtlicher Rechtsvertreter bezeichnet und aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3.- Dieses Urteil wird dem Beschwerdeführer und dem Bundesamt für Polizeiwesen, Sektion Auslieferung, schriftlich mitgeteilt.
_
Lausanne, 29. März 2000
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: