Ausschaffungshaft gemäss Art. 13b ANAG, hat sich ergeben:
A.- Der angeblich aus Algerien stammende S._, geboren 1978, reiste nach eigenen Angaben am 5. Dezember 1997 illegal in die Schweiz ein, wo er am 8. Dezember 1997 ein Asylgesuch stellte. Das Bundesamt für Flüchtlinge lehnte das Gesuch am 29. Mai 1998 ab und wies S._ aus der Schweiz weg. Mit Entscheid vom 29. Juli 1998 trat die Schweizerische Asylrekurskommission auf die dagegen eingereichte Beschwerde nicht ein, worauf das Bundesamt für Flüchtlinge S._ eine Frist zum Verlassen der Schweiz bis zum 31. August 1998 einräumte. Am 22. Oktober 1998 meldete das Amt für Polizeiwesen des Kantons Graubünden (im Folgenden:
Amt für Polizeiwesen) S._ als per 31. August 1998 verschwunden. Das Kreisgericht Chur verurteilte ihn am 22. Oktober 1998 im Abwesenheitsverfahren wegen mehrfachen Diebstahls sowie wegen Sachbeschädigung, Hausfriedensbruchs und mehrfacher Widerhandlung gegen das Transportgesetz zu einer Gefängnisstrafe von zwölf Monaten bedingt sowie zu zehn Jahren Landesverweisung. Im Februar 1999 versuchte S._ mit dem Zug in die Schweiz einzureisen, wobei er von der Kantonspolizei St. Gallen kontrolliert und anschliessend an die zuständigen österreichischen Behörden zurückübergeben wurde. Am 16. Februar 1999 verhängte das Bundesamt für Ausländerfragen über ihn eine bis zum 15. Februar 2001 geltende Einreisesperre. Am 19. Februar 1999 verurteilte ihn der Kreispräsident Chur wegen Diebstahls zu einer Gefängnisstrafe von 20 Tagen.
Am 23. Februar 2000 wurde S._ von der Kantonspolizei Genf aufgegriffen und anschliessend an den Kanton Graubünden überführt; dort verbüsste er die 20-tägige Gefängnisstrafe.
B.- Am 14. März 2000 ordnete das Amt für Polizeiwesen über S._ die Ausschaffungshaft an. Der Kreispräsident Chur als Haftrichter (im Folgenden: der Haftrichter) prüfte und genehmigte die Haft am 17. März 2000 bis zum 13. Juni 2000.
C.- Mit in französischer Sprache verfasstem Schreiben vom 6. April 2000 hat sich S._ an das Bundesgericht gewandt. Er macht geltend, er sei in seinem Land vom Tode bedroht; er wolle auf keinen Fall nach Algerien zurückkehren.
Er bittet um sieben Stunden, um die Schweiz selber zu verlassen.
Das Amt für Polizeiwesen beantragt, die Beschwerde abzuweisen. Der Haftrichter hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer hat sich mit Eingabe vom 17. April 2000 noch einmal geäussert. Er entschuldigt sich unter anderem für die von ihm begangenen Straftaten, bittet um eine letzte Chance und erklärt, in Algerien würde man ihn ohne Mitleid töten. Das Eidgenössische Justiz- und Polizeidepartement hat sich nicht vernehmen lassen.

Das Bundesgericht zieht in Erwägung:
1.- Die Verwaltungsgerichtsbeschwerde hat die Begehren, deren Begründung mit Angabe der Beweismittel und die Unterschrift des Beschwerdeführers oder seines Vertreters zu enthalten (Art. 108 Abs. 2 OG). Sie muss sich sachbezogen mit dem angefochtenen Entscheid auseinander setzen (<ref-ruling> ff.). Bei Laienbeschwerden gegen die Genehmigung der Ausschaffungshaft stellt das Bundesgericht indessen keine hohen Anforderungen an die Beschwerdebegründung (vgl.
BGE 122 I 275 E. 3b S. 277). Ist daraus ersichtlich, dass sich der Betroffene - wie hier - (zumindest auch) gegen seine Haft wendet, nimmt es entsprechende Eingaben als Verwaltungsgerichtsbeschwerden entgegen.
Gegenstand des vorliegenden Verfahrens bildet ausschliesslich die Rechtmässigkeit der Ausschaffungshaft, nicht auch die Asyl- und Wegweisungsfrage (vgl. <ref-ruling> E. 2 S. 220, mit Hinweis). Soweit der Beschwerdeführer in seiner Eingabe Asylgründe geltend macht oder sich gegen die Wegweisung wehrt, ist darauf nicht einzutreten.
2.- a) Die zuständige Behörde kann einen Ausländer in Ausschaffungshaft nehmen bzw. in dieser belassen, wenn die Voraussetzungen von Art. 13b des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) erfüllt sind. Danach ist erforderlich, dass ein erstinstanzlicher, nicht notwendigerweise auch rechtskräftiger, Weg- oder Ausweisungsentscheid vorliegt (vgl. <ref-ruling> E. 2a S. 61), dessen Vollzug (z.B. wegen fehlender Reisepapiere) noch nicht möglich, jedoch absehbar ist. Zudem muss einer der in Art. 13b Abs. 1 ANAG genannten Haftgründe bestehen (<ref-ruling> E. 1 S. 3), die Ausschaffung rechtlich und tatsächlich möglich sein (Art. 13c Abs. 5 lit. a ANAG; vgl. <ref-ruling> E. 3 S. 152 ff.) und die Papierbeschaffung mit dem nötigen Nachdruck verfolgt werden (Art. 13b Abs. 3 ANAG; Beschleunigungsgebot; <ref-ruling> ff.).
b) Diese Voraussetzungen sind hier erfüllt: Das Bundesamt für Flüchtlinge hat den Beschwerdeführer aus der Schweiz weggewiesen; auf die dagegen eingereichte Beschwerde ist die Asylrekurskommission nicht eingetreten. Der Vollzug dieses Wegweisungsentscheides ist vorliegend noch nicht möglich, liegen doch keine Reisepapiere vor und sind zudem Zweifel an der Identität des Beschwerdeführers aufgetaucht; der Vollzug der Wegweisung erscheint jedoch im heutigen Zeitpunkt absehbar. Es liegen auch keine Hinweise dafür vor, dass die Ausschaffung rechtlich oder tatsächlich nicht möglich sein sollte. Nachdem der Beschwerdeführer schon einmal untergetaucht ist und sich zudem mehrmals strafbar gemacht hat, ist der Haftgrund der Untertauchensgefahr zweifellos gegeben (vgl. <ref-ruling> E. 2a S. 51). Dem Beschleunigungsgebot sind die kantonalen Behörden nachgekommen, hat das Amt für Polizeiwesen Graubünden doch schon am 16. März 2000 - und damit noch vor der Haftrichterverhandlung - die Kantonspolizei angewiesen, bei den zuständigen Interpol-Stellen mehrerer europäischer und nordafrikanischer Länder in Bezug auf die Identität des Beschwerdeführers vorstellig zu werden.
3.- a) Die Beschwerde erweist sich damit als offensichtlich unbegründet und ist im vereinfachten Verfahren nach Art. 36a OG mit summarischer Begründung abzuweisen, soweit darauf einzutreten ist.
b) Dem Verfahrensausgang entsprechend würde der unterliegende Beschwerdeführer kostenpflichtig (vgl.
Art. 156 Abs. 1 OG). Es rechtfertigt sich indessen, mit Blick auf seine finanziellen Verhältnisse von der Erhebung einer Gerichtsgebühr abzusehen (Art. 153a Abs. 1 OG).
c) Das Amt für Polizeiwesen des Kantons Graubünden wird ersucht, sicherzustellen, dass das vorliegende Urteil dem Beschwerdeführer korrekt eröffnet und nötigenfalls verständlich gemacht wird.

Demnach erkennt das Bundesgericht
im Verfahren nach Art. 36a OG:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Es werden keine Kosten erhoben.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Amt für Polizeiwesen des Kantons Graubünden und dem Kreisamt Chur (Kreispräsident Chur als Haftrichter) sowie dem Eidgenössischen Justiz- und Polizeidepartement schriftlich mitgeteilt.
_
Lausanne, 20. April 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: