Ausschaffungshaft gemäss Art. 13b ANAG, hat sich ergeben:
A.- Der aus Tunesien stammende X._ reiste nach eigener Darstellung am 28. Juli 1999 illegal in die Schweiz ein und stellte am darauffolgenden Tag ein Asylgesuch. Das Bundesamt für Flüchtlinge lehnte dieses am 14. Februar 2000 ab und verfügte gleichzeitig die Wegweisung aus der Schweiz mit Frist zur Ausreise bis zum 31. März 2000. Auf die dagegen erhobene Beschwerde trat die Asylrekurskommission mangels Bezahlung des geforderten Kostenvorschusses mit Entscheid vom 12. April 2000 nicht ein. Die Ausreisefrist wurde auf den 16. Mai 2000 verlängert. In der Folge galt X._ als verschwunden. Am 6. Juni 2001 wurde er anlässlich einer Fahrzeugkontrolle in Murten durch die Kantonspolizei Freiburg angehalten und dem Amt für öffentliche Sicherheit des Kantons Solothurn zugeführt. Dieses ordnete tags darauf die Ausschaffungshaft über X._ an. Der Vizepräsident des Verwaltungsgerichts des Kantons Solothurn als Haftrichter prüfte diese am 8. Juni 2001 und bestätigte sie bis zum 5. September 2001.
B.- X._ gelangte hiegegen am 4. Juli 2001 (Postaufgabe) an das Bundesgericht mit dem Begehren, ihn aus der Haft zu entlassen. Mit einer zusätzlichen Eingabe seines Bevollmächtigten vom 5. Juli 2001 stellt er den Antrag, den Entscheid des Haftrichters aufzuheben.
C.- Das Verwaltungsgericht und das Amt für öffentliche Sicherheit des Kantons Solothurn beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Ausländerfragen hat sich nicht vernehmen lassen. Von der Möglichkeit, innert Frist ergänzend Stellung zu nehmen, hat X._ nicht Gebrauch gemacht.

Das Bundesgericht zieht in Erwägung:
1.- Bundesgerichtliche Urteile werden nach Art. 37 Abs. 3 OG in der Regel in der Sprache des angefochtenen Entscheids - hier demnach auf Deutsch - verfasst. Hievon abzuweichen, besteht vorliegend kein Grund, da der in Bern tätige Vertreter des Beschwerdeführers der deutschen Sprache offenbar mächtig ist.
2.- Die Verwaltungsgerichtsbeschwerde hat unter anderem die Begehren und deren Begründung mit Angabe der Beweismittel zu enthalten (Art. 108 Abs. 2 OG); sie muss sich dabei mit dem angefochtenen Entscheid sachbezogen auseinandersetzen (<ref-ruling> E. 2 S. 135 f.). Ob die vorliegenden Eingaben des Beschwerdeführers vom 4. und 5. Juli 2001 diesen Anforderungen genügen oder eine Frist zur Nachbesserung anzusetzen wäre, kann dahingestellt bleiben; die Beschwerde ist so oder anders unbegründet, soweit darauf überhaupt eingetreten werden kann. Gegenstand des Verfahrens bildet nämlich ausschliesslich die Rechtmässigkeit der Ausschaffungshaft, nicht auch die Asyl- und Wegweisungsfrage (vgl. Art. 100 Abs. 1 lit. b Ziff. 2, 4 und 5 OG; Art. 105 Abs. 1 des Asylgesetzes vom 26. Juni 1998 [AsylG, SR 142. 31]; <ref-ruling> E. 2 S. 220; <ref-ruling> E. 2b S. 61), weshalb auf die Vorbringen und Anträge zur Letzteren nicht weiter einzugehen ist. Eine etwaige Flüchtlingseigenschaft wird das Bundesamt für Flüchtlinge, dem das Bundesgericht im Hinblick auf das erneute Asylgesuch des Beschwerdeführers eine Kopie der Rechtsschrift vom 5. Juli 2001 hat zukommen lassen, zu beurteilen haben.
3.- a) Die zuständige Behörde kann einen Ausländer in Ausschaffungshaft nehmen, sofern die Voraussetzungen von Art. 13b des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG, SR 142. 20) erfüllt sind. Danach ist erforderlich, dass ein erstinstanzlicher, nicht notwendigerweise auch rechtskräftiger Weg- oder Ausweisungsentscheid vorliegt (vgl. BGE <ref-ruling> E. 2 S. 61; <ref-ruling> E. 1 S. 150), dessen Vollzug (z.B. wegen fehlender Reisepapiere) noch nicht möglich, jedoch absehbar ist (<ref-ruling> E. 3a S. 374, 377 E. 2a S. 379). Zudem muss einer der in Art. 13b Abs. 1 ANAG genannten Haftgründe bestehen (<ref-ruling> E. 3a S. 374, 377 E. 3a S. 381; <ref-ruling> E. 1 S. 3), die Ausschaffung rechtlich und tatsächlich möglich sein (vgl. Art. 13c Abs. 5 lit. a ANAG; dazu <ref-ruling> E. 2 S. 220), und es sind die für den Vollzug der Wegweisung notwendigen Vorkehrungen umgehend zu treffen (Art. 13b Abs. 3 ANAG, Beschleunigungsgebot; vgl. <ref-ruling> ff.).
b) Da der Beschwerdeführer nur wenige Tage vor dem Haftprüfungsentscheid aufgegriffen werden konnte und erstmals gegen ihn die Haft angeordnet wurde, ergeben sich hinsichtlich des Beschleunigungsgebots keine Probleme. Zudem sind die für den Ausschaffungsvollzug notwendigen Vorkehrungen umgehend an die Hand genommen worden: Das Amt für öffentliche Sicherheit hat am 11. Juni 2001 beim Bundesamt für Flüchtlinge um Vollzugsunterstützung nachgesucht, worauf das Eidgenössische Justiz- und Polizeidepartement bei der tunesischen Botschaft am 22. Juni 2001 um die Aushändigung eines Laissez-passer-Scheines für den Beschwerdeführer bat.
Sodann bestehen keine Anzeichen dafür, dass die Ausschaffung nicht innert absehbarer Zeit vollzogen werden könnte. Dass der Beschwerdeführer nach der Verhaftung ein zweites Asylgesuch gestellt hat, über welches noch nicht entschieden wurde, steht der Ausschaffungshaft nicht entgegen, da im Augenblick damit zu rechnen ist, dass das Asylverfahren in absehbarer Zeit abgeschlossen werden kann (vgl. <ref-ruling> E. 2b S. 380, mit Hinweis). Entgegen der Ansicht des Beschwerdeführers ist die angeordnete Dauer der Haft von zunächst drei Monaten (vgl. Art. 13b Abs. 2 ANAG) auch nicht unverhältnismässig.
c) Beim Beschwerdeführer besteht ausserdem der Haftgrund der "Untertauchensgefahr" im Sinne von Art. 13b Abs. 1 lit. c ANAG (vgl. <ref-ruling> E. 3b/aa S. 375; <ref-ruling> E. 2a S. 50 f., mit Hinweisen): Der Beschwerdeführer war nach Abweisung seines ersten Asylgesuchs wiederholt vergeblich aufgefordert worden, sich wegen der Beschaffung von Reisepapieren mit der tunesischen Botschaft in Verbindung zu setzen. Kurz bevor die auf den 16. Mai 2000 angesetzte Ausreisefrist ablief, verschwand er ohne Hinterlassung einer Anschrift und erschien unentschuldigt nicht mehr zu einem mit dem Amt für öffentliche Sicherheit vereinbarten Termin. Erst anlässlich einer Fahrzeugkontrolle wurde er von der Polizei über ein Jahr später wieder aufgegriffen.
Im Verfahren der Ausschaffungshaft hat der Beschwerdeführer wiederholt erklärt, er werde auf keinen Fall in sein Heimatland zurückkehren. Er sei jedoch bereit nach Frankreich auszureisen. Es ist jedoch nicht ersichtlich, wie er dies ohne Reisepapiere auf legale Art und Weise tun könnte.
Somit bietet der Beschwerdeführer keine Gewähr dafür, dass er sich ohne Haft zu gegebener Zeit, d.h. bei Vorliegen der Reisepapiere, für den Ausschaffungsvollzug zur Verfügung halten wird.
d) Angesichts der Darstellung des Beschwerdeführers, er sei im Mai 2000 nach Frankreich ausgereist und im März 2001 in die Schweiz zurückgekehrt, stellt sich einzig die Frage, ob die Ausschaffungshaft dem Vollzug einer konkreten Ausweisungsverfügung dient. Sollte er nämlich ausgereist sein, wäre die am 14. Februar 2000 asylrechtlich verfügte Wegweisung vollzogen worden und damit die spätere Anordnung der Ausschaffungshaft nur aufgrund eines neuen Weg- oder Ausweisungsentscheides möglich.
Der Haftrichter hat ausgeführt, der Beschwerdeführer habe nach Abweisung seines Asylgesuchs keinerlei Schritte unternommen, um der Aufforderung, aus der Schweiz auszureisen, nachzukommen. Diese Sachverhaltsfeststellung ist für das Bundesgericht verbindlich, da sie nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensvorschriften zustande gekommen ist (Art. 105 Abs. 2 OG). Der Beschwerdeführer hat seit seiner ersten Einreise in die Schweiz im Juli 1999 wiederholt widersprüchliche Angaben gemacht. Dies betraf unter anderem die Fragen nach Angehörigen in Drittstaaten und nach seinen Asylgründen. Ausserdem trägt zwar die Fremdenpolizei die Beweislast für diejenigen Umstände, aus welchen sie das Bestehen der Haftvoraussetzungen ableitet. Umgekehrt muss aber der Ausländer diejenigen Tatsachen nachweisen, welche geeignet sind, die an sich erfüllten Haftvoraussetzungen (wieder) dahinfallen zu lassen (E. 2c des nicht publizierten Entscheids des Bundesgerichts vom 18. April 2001, 2A.175/ 2001). Nachdem der Beschwerdeführer keinen Nachweis dafür erbracht hat, dass er nach Frankreich ausgereist war, durfte der Haftrichter dies ohne Rechtsverstoss als nicht den Tatsachen entsprechend behandeln und damit die Wegweisungsverfügung des Bundesamtes für Flüchtlinge vom 14. Februar 2000 als Grundlage für die angeordnete Ausschaffungshaft betrachten.
Im Übrigen teilte das Amt für öffentliche Sicherheit dem Beschwerdegegner bei seiner Einvernahme am 7. Juni 2001 mit, "wir werden nun Reisedokumente für Sie beschaffen und Sie alsdann in Ihre Heimat ausschaffen". Damit hat es den Beschwerdeführer entsprechend Art. 12 Abs. 1 ANAG in Verbindung mit Art. 17 Abs. 1 der Vollziehungsverordnung zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer (ANAV, SR 142. 201) formlos weggewiesen. Selbst wenn der Beschwerdeführer nach seiner ersten Wegweisung ausgereist wäre, könnte die Ausschaffungshaft daher auf diese neue Wegweisung gestützt werden. Dass der Beschwerdeführer (erst) im weiteren Verlauf ein (zweites) Asylgesuch gestellt hat, ist dabei nicht von Belang. Unbeachtlich - und im Hinblick auf die gesamten Umstände (die Verhaftung erfolgte um 00.15 Uhr) geradezu unglaubwürdig - ist die in der Eingabe des Beschwerdeführers an das Bundesgericht vom 5. Juli 2001 aufgestellte Behauptung, er sei ausgerechnet an dem Tage verhaftet worden, an dem er das neue Asylbegehren einreichen wollte.
4.- Die Verwaltungsgerichtsbeschwerde erweist sich demnach als unbegründet.
Dem Verfahrensausgang entsprechend würde der Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 OG). Es rechtfertigt sich jedoch mit Blick auf seine Mittellosigkeit, von der Erhebung einer Gerichtsgebühr abzusehen (vgl. Art. 153a Abs. 1 OG). Parteientschädigungen sind nicht geschuldet (vgl. Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Es werden keine Kosten erhoben.
3.- Dieses Urteil wird dem Beschwerdeführer, dem Amt für öffentliche Sicherheit und dem Verwaltungsgericht des Kantons Solothurn sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 18. Juli 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: