Sachverhalt:
A.
Der ägyptische Staatsangehörige A._ (geb. 1989) reiste am 5. April 2013 in die Schweiz ein und stellte hier ein Asylgesuch. Ihm wurde der Kanton Solothurn als Aufenthaltskanton zugewiesen.
Weil A._ in der Folge untertauchte, beschied das Staatssekretariat für Migration (nachfolgend: das SEM) sein Asylgesuch am 29. Januar 2014 mit einem Nichteintretensentscheid; zudem ordnete es die Wegweisung an und forderte ihn auf, die Schweiz bis zum 14. Februar 2014 zu verlassen.
B.
B.a. Am 21. Februar 2016 wurde A._ in Ausschaffungshaft genommen. Aus einer daraufhin angeordneten Sprachanalyse ergab sich die Vermutung, dass er womöglich in Marokko sozialisiert worden sei. Weil sich eine nähere Identifizierung - und damit auch der Vollzug der Wegweisung - in der Folge jedoch als unmöglich erwies, wurde A._ am 20. Oktober 2016 aus dem Gefängnis entlassen.
B.b. Im Zuge einer strafrechtlich motivierten Verhaftung am 21. Januar 2019 wurden bei A._ eine Bankkarte, ein ägyptischer Führerschein und ein irischer Reisepass mit abweichenden Personalien sichergestellt. Am 22. Januar 2019 ersuchte das Migrationsamt des Kantons Solothurn (nachfolgend: das Migrationsamt) das SEM darum, sich um die Beschaffung von Ersatzreisedokumenten zu bemühen. Am 7. August 2019 hätte A._ in diesem Zusammenhang bei der ägyptischen Botschaft vorsprechen sollen; er konnte jedoch nicht angehalten werden und wurde in der Folge erneut als untergetaucht gemeldet.
B.c. Am 6. Februar 2020 wurde A._ in Basel angehalten und erneut in Ausschaffungshaft versetzt. Bei der Anhörung gab er neu an, aus Marokko zu stammen.
Das Haftgericht genehmigte die angeordnete Ausschaffungshaft bis zum 5. Mai 2020. Das SEM bemühte sich daraufhin auf Aufforderung des kantonalen Migrationsamts hin erneut darum, Ersatzreisepapiere zu beschaffen. Aufgrund der COVID-19-Pandemie musste eine für den 17. März 2020 bei der ägyptischen Botschaft vorgesehene Vorsprache abgesagt werden.
B.d. Am 23. März 2020 wandte sich A._ (gemeinsam mit drei Mitinsassen) mit folgendem "Wunschzettel" an das Migrationsamt:
"Guten Tag Herren und Damen
Warum sin emmer in Gefängnis und Baselstad und Basel land Hat Menchen freigelassen vom gefängnis, wagen das corovavirus kris. Bitte biantworte wir haben Angst vor Corona, das virus kann auch im Gefängnis komme".
Am 24. März 2020 antwortete das kantonale Migrationsamt A._ auf dieses Schreiben, dass es an der vom Haftgericht überprüften und bis 5. Mai 2020 genehmigten Ausschaffungshaft festhalte; die Mitarbeiter des Gefängnisses unternähmen alles, damit er gesund bleibe. Zudem wies das Migrationsamt A._ darauf hin, dass es in seinem eigenen Interesse liege, heimatliche Reisepapiere zu besorgen. Eine Weiterleitung des Schreibens vom 23. März 2020 an das kantonale Haftgericht erfolgte nicht.
B.e. Mit Schreiben vom 31. März 2020 stellte A._ vertreten durch den oben rubrizierten Advokaten beim kantonalen Haftgericht ein Haftentlassungsgesuch. Mit Entscheid vom 8. April 2020 wies das Haftgericht dieses Gesuch ab.
B.f. Während des von A._ daraufhin angehobenen Beschwerdeverfahrens vor dem kantonalen Verwaltungsgericht ordnete das Migrationsamt mit Verfügung vom 1. Mai 2020 die Verlängerung der Ausschaffungshaft vom 6. Mai bis 5. August 2020 an. Mit Entscheid vom 5. Mai 2020 genehmigte das Haftgericht die vom Migrationsamt angeordnete Haftverlängerung. Das Verwaltungsgericht teilte A._ mit, die Haftverlängerung im vorliegenden Verfahren mitbehandeln zu wollen und gewährte ihm das rechtliche Gehör dazu.
B.g. Mit Urteil vom 8. Mai 2020 wies das Verwaltungsgericht die Beschwerde A._s ab. In Gutheissung des Gesuchs um unentgeltliche Rechtspflege verzichtete es auf die Erhebung von Verfahrenskosten und entschädigte den Rechtsvertreter als unentgeltlichen Rechtsbeistand mit Fr. 2'253.--.
C.
C.a. Mit Eingabe vom 12. Mai 2020 gelangt A._ an das Bundesgericht und erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten. Er ersucht um Aufhebung des Urteils des Verwalungsgerichts vom 8. Mai 2020 und der Verfügung des Haftgerichts vom 5. Mai 2020; dementsprechend sei er sofort aus der Haft zu entlassen. Weiter sei festzustellen, dass seine Rechte aus Art. 5 lit. f und/oder Art. 5 Abs. 4 EMRK seit dem 31. März 2020 verletzt seien. Prozessual ersucht er darum, seiner Beschwerde die aufschiebende Wirkung zu erteilen und das Migrationsamt mit prozessleitender Verfügung superprovisorisch und superdringlich anzuweisen, ihn aus der Haft zu entlassen. Für den Fall des Unterliegens ersucht er zudem um Gewährung der unentgeltlichen Rechtspflege und um Beiordnung eines amtlichen Rechtsbeistands in Person seines Rechtsvertreters.
Das Haftgericht verzichtet darauf, einen Antrag zu stellen. Das Verwaltungsgericht beantragt wie auch das Migrationsamt, die Beschwerde sei abzuweisen, soweit darauf einzutreten sei. Das SEM beantragt die Abweisung der Beschwerde. A._ hält mit Eingabe vom 2. Juni 2020 an seinen Anträgen fest.
C.b. Mit Präsidialverfügung vom 15. Mai 2020 hat das Bundesgericht das Gesuch A._s um Erteilung der aufschiebenden Wirkung und sofortige Haftentlassung abgewiesen.

Erwägungen:
1.
Der kantonal letztinstanzlichen Entscheid über eine Zwangsmassnahme im Ausländerrecht kann mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht weitergezogen werden (Art. 82, Art. 86 Abs. 1 lit. d und <ref-law>; vgl. Urteil 2C_312/2018 vom 11. Mai 2018 E. 1). Wegen des mit der Anordnung ausländerrechtlicher Administrativhaft verbundenen schweren Eingriffs in die persönliche Freiheit kommt dem entsprechenden Freiheitsentzug eigenständige Bedeutung zu; die Haft erscheint nicht als bloss untergeordnete Vollzugsmassnahme zur Wegweisung, so dass der Ausschlussgrund von <ref-law> der Beschwerde in öffentlich-rechtlichen Angelegenheiten nicht entgegensteht (<ref-ruling> E. 1.1.3 S. 139 f.; 135II 94 E. 5.5 S. 101 f.; Urteile 2C_263/2019 vom 27. Juni 2019 E. 1.1; 2C_466/2018 vom 21. Juni 2018 E. 1.1). Auf die frist- und formgerecht eingereichte Beschwerde (Art. 42, Art. 100 Abs. 1 BGG) des hierzu legitimierten Beschwerdeführers (<ref-law>) ist grundsätzlich einzutreten.
Zu bemerken ist mit Blick auf die Beschwerdebegehren einzig, dass sich die Beschwerde aufgrund des Devolutiveffekts einzig gegen das Urteil des Verwaltungsgerichts vom 8. Mai 2020 richten kann; soweit der Beschwerdeführer auch die Aufhebung von Entscheiden des Haftgerichts beantragt, ist auf die Beschwerde nicht einzutreten, weil kein taugliches Anfechtungsobjekt vorliegt (<ref-law>).
2.
Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es prüft jedoch unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG) nur die in der Beschwerde geltend gemachten Rechtsverletzungen, sofern rechtliche Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.5 S. 144). In Bezug auf die Verletzung von Grundrechten gilt eine qualifizierte Rüge- und Substanziierungspflicht (<ref-law>; <ref-ruling> E. 2.2 S. 232; <ref-ruling> E. 2.5 S. 314).
Seinem Urteil legt das Bundesgericht grundsätzlich den vorinstanzlich festgestellten Sachverhalt zugrunde (<ref-law>). Eine Berichtigung oder Ergänzung der vorinstanzlichen Feststellungen ist von Amtes wegen (<ref-law>) oder auf Rüge hin (<ref-law>) zwar möglich. Von den tatsächlichen Grundlagen des vorinstanzlichen Urteils weicht das Bundesgericht jedoch nur dann ab, wenn diese offensichtlich unrichtig sind oder auf einer Rechtsverletzung im Sinne von <ref-law> beruhen, und die Behebung des Mangels für den Verfahrensausgang zudem entscheidend sein kann (<ref-law>; <ref-ruling> E. 1.6 S. 144 f.).
3.
3.1. Zur Sicherung des Vollzugs eines erstinstanzlichen Wegweisungsentscheids kann eine ausländische Person in Ausschaffungshaft genommen werden, wenn konkrete Anzeichen befürchten lassen, dass sie sich der Ausschaffung entziehen will, insbesondere weil sie ihren Mitwirkungspflichten nicht nachkommt (Art. 76 Abs. 1 lit. b Ziff. 3 AIG [SR 142.20]). Dasselbe gilt, wenn ihr bisheriges Verhalten darauf schliessen lässt, dass sie sich behördlichen Anordnungen widersetzt (Art. 76 Abs. 1 lit. b Ziff. 4 AIG).
Die vorerwähnten Varianten von Art. 76 Abs. 1 lit. b Ziff. 3 und 4 AIG werden in der Praxis zum Haftgrund der "Untertauchensgefahr" zusammengefasst (vgl. Urteil 2C_871/2012 vom 28. Januar 2013 E. 4.1, mit Hinweisen). Eine solche Gefahr wird in der Praxis regelmässig bejaht, wenn die weggewiesene Person bereits einmal untergetaucht ist, wenn sie durch erkennbar unglaubwürdige und widersprüchliche Angaben die Vollzugsbemühungen zu erschweren versucht oder wenn sie sonst klar zu erkennen gibt, dass sie nicht bereit ist, in ihre Heimat zurückzukehren (<ref-ruling> E. 3.1 S. 58 f.).
3.2. Nach Ablauf einer Sperrfrist von einem Monat nach der letzten Haftüberprüfung kann die in Ausschaffungshaft befindliche Person ein Haftentlassungsgesuch einreichen; über dieses Gesuch hat die zuständige richterliche Behörde innert acht Arbeitstagen aufgrund einer mündlichen Verhandlung zu entscheiden (<ref-law>). Diese kurz bemessene Frist reflektiert den zentralen grund- und menschenrechtlichen Anspruch darauf, einen Freiheitsentzug innert kurzer Frist von einem Gericht überprüfen zu lassen (<ref-law>; Art. 5 Abs. 4 EMRK; Art. 9 Ziff. 4 des Internationalen Pakts über bürgerliche und politische Rechte vom 16. Dezember 1966 [SR 0.103.2]).
3.3. Stattzugeben ist dem Haftentlassungsgesuch unter anderem dann, wenn der Haftgrund entfallen ist oder sich erweist, dass der Vollzug der Wegweisung aus rechtlichen oder tatsächlichen Gründen undurchführbar ist (<ref-law>). Bei der Prüfung des Gesuchs ist überdies den familiären Verhältnissen der inhaftierten Person und den Umständen des Haftvollzugs Rechnung zu tragen (<ref-law>). Wie jedes staatliche Handeln muss die Ausschaffungshaft schliesslich verhältnismässig sein. Innerhalb der Höchstdauer von 18 Monaten (Art. 79 Abs. 1 und 2 AIG) ist jeweils aufgrund der Umstände des Einzelfalles zu prüfen, ob die ausländerrechtliche Festhaltung insgesamt noch geeignet bzw. erforderlich erscheint und nicht gegen das Übermassverbot verstösst (<ref-ruling> E. 2.1 S. 411; <ref-ruling> E. 2.2.1 S. 107; <ref-ruling> E. 2.3.1 und 2.3.2 S. 96 f.; <ref-ruling> E. 2.2 S. 99 f.).
4.
Der Beschwerdeführer macht geltend, seit dem 31. März 2020 widerrechtlich in Haft gehalten zu werden. Er ist der Auffassung, bereits am 23. März 2020 ein Haftentlassungsgesuch eingereicht zu haben (vgl. zum Wortlaut dieses Schreibens Bst. B.d hiervor). Das Migrationsamt sei fälschlicherweise davon ausgegangen, dass dieses Schreiben nicht als Haftentlassungsgesuch zu qualifizieren sei; es habe deshalb zu Unrecht darauf verzichtet, das Schreiben zur Prüfung an das kantonale Haftgericht weiterzuleiten. Der Beschwerdeführer erblickt darin eine Verletzung von Art. 5 Abs. 4 EMRK.
4.1. Die Vorinstanz erwog diesbezüglich, in dem Schreiben des Beschwerdeführers vom 23. März 2020 werde nicht um Entlassung ersucht; vielmehr gäben die Urheber des Schreibens ihrer Verunsicherung über das Coronavirus Ausdruck und wollten wissen, weshalb andere Insassen aus der Haft entlassen würden. Diese Interpretation ergebe sich auch daraus, dass sie ihren Hungerstreik nach dem Erhalt der Antwort des Migrationsamts am 24. März 2020 abgebrochen hätten. Überdies hätte der Beschwerdeführer sich an seine damalige Rechtsvertreterin wenden können, wenn er mit der informellen Antwort des Migrationsamts nicht einverstanden gewesen wäre und ein formelles Haftprüfungsverfahren hätte anstreben wollen.
4.2. Die Würdigung der Vorinstanz überzeugt nicht. Um die effektive Wirksamkeit des grund- und menschenrechtlichen Anspruchs auf zeitnahe richterliche Haftprüfung (vgl. E. 3.2 hiervor) sicherzustellen, dürfen an ein Haftentlassungsgesuch keine besonderen formellen Anforderungen gestellt werden (<ref-ruling> E. 3.4 S. 244 f.; PETER UEBERSAX, Menschenrechtlicher Schutz bei fremdenpolizeilichen Einsperrungen, recht 1995, S. 53 ff., S. 65; ANDREAS ZÜND, Zwangsmassnahmen im Ausländerrecht: Verfahrensfragen und Rechtsschutz, AJP 1995, S. 854 ff., S. 863 [mit Hinweis auf ein 1991 ergangenes, in der EuGRZ 1991, S. 526 ff. abgedrucktes Urteil des Bundesgerichts]). Es muss genügen, dass aus der schriftlichen Eingabe der klare Wille hervorgeht, aus der Haft entlassen zu werden; hingegen bedarf es weder eines ausdrücklichen Antrags noch einer Vertretung durch eine fachkundige Rechtsvertreterin, damit von einem an die Hand zu nehmenden Haftentlassungsgesuch auszugehen ist.
Wie der Beschwerdeführer in seiner Eingabe an das Bundesgericht zutreffend darlegt, kann sein Schreiben vom 23. März 2020 nicht anders interpretiert werden, als dass er angesichts der im Gefängnis bestehenden Gefahr einer Ansteckung mit dem Coronavirus aus der Ausschaffungshaft entlassen werden wollte; dies ergibt sich auch daraus, dass er auf entsprechende Entlassungen in den Kantonen Basel-Stadt und Basel-Land Bezug nahm. Soweit die Vorinstanz vor diesem Hintergrund den Haftentlassungswillen verneinte, verfiel sie in Willkür und ist der vorinstanzlich festgestellte Sachverhalt zu korrigieren. Entgegen dem angefochtenen Urteil ist davon auszugehen, dass der Beschwerdeführer mit seiner schriftlichen Eingabe vom 23. März 2020 ein Haftentlassungsgesuch gestellt hat. Daran ändert auch nichts, dass er nach Erhalt des Antwortschreibens des Migrationsamts vom 24. März 2020 seinen Hungerstreik beendete, zumal in diesem Verhalten kein Rückzug des Haftentlassungsgesuchs zu erblicken ist.
4.3. Bei dieser Sachlage (vgl. E. 4.2 hiervor) wäre das Migrationsamt von Bundesrechts wegen dazu verpflichtet gewesen, das falsch adressierte Haftentlassungsgesuch an das kantonale Haftgericht als zuständige Instanz weiterzuleiten, zumal nicht ersichtlich ist, dass der Beschwerdeführer sich bewusst oder trölerisch an die unzuständige Behörde gewendet hätte (<ref-ruling> E. 3.6 S. 642 f.; Urteile 2C_462/2014 vom 24. November 2014 E. 3.2; 2C_610/2010 vom 21. Januar 2011 E. 2.5). Dasselbe ergibt sich auch aus dem einschlägigen kantonalen Verfahrensrecht (vgl. § 6 des Gesetzes über den Rechtsschutz in Verwaltungssachen des Kantons Solothurn vom 15. November 1970 [VRPG; BGS 124.11]). Im Übrigen ist darauf hinzuweisen, dass es im Zweifelsfall der (hypothetisch) funktionell zuständigen Behörde oblegen hätte, zu entscheiden, ob es sich bei der Eingabe des Beschwerdeführers um ein Haftentlassungsgesuch handelte; auch in diesem Fall wäre das Migrationsamt also gehalten gewesen, die Eingabe an das kantonale Haftgericht weiterzuleiten (vgl. § 10 der Einführungsverordnung zum Bundesgesetz über die Ausländerinnen und Ausländer und zum Asylgesetz des Kantons Solothurn vom 21. Juli 2011 [EAuV; BGS 512.153]).
4.4. Bei richtiger Weiterleitung des am 24. März 2020 beim Migrationsamt eingegangenen Haftentlassungsgesuchs des Beschwerdeführers vom 23. März 2020 wäre davon auszugehen gewesen, dass das kantonale Haftgericht spätestens am 25. März 2020 mit der Sache befasst worden wäre. Ab diesem Zeitpunkt hätte das Haftgericht acht Arbeitstage, also bis zum 6. April 2020, Zeit gehabt, über das Haftentlassungsgesuch zu entscheiden (vgl. E. 3.2 hiervor). Tatsächlich entschieden hat es jedoch - auf Gesuch des Beschwerdeführers vom 31. März 2020 hin - erst am 8. April 2020. Damit wurde der Beschwerdeführer zwei Tage ohne Bestätigungsentscheid festgehalten. Seine zentrale prozessuale Garantie auf rechtzeitige gerichtliche Prüfung ist in gravierender Weise missachtet worden. Die Vorinstanz hat <ref-law>, <ref-law> und Art. 5 Abs. 4 EMRK verletzt, indem sie vom Gegenteil ausgegangen ist. Es liegt ein schwerwiegender Verfahrensfehler vor (vgl. auch Urteil 2C_1089/2012 vom 22. November 2012 E. 3.2.3).
5.
5.1. Die Verletzung von Verfahrensvorschriften - hier die rechtzeitige Prüfung des Haftentlassungsgesuchs durch das Haftgericht (vgl. E. 4.4 hiervor) - führt nicht immer zu einer Haftentlassung. Nach der Rechtsprechung kommt es darauf an, welche Bedeutung den verletzten Vorschriften für die Wahrung der Rechte des Betroffenen zukommt und ob das Anliegen einer reibungslosen Organisation der Ausschaffung der Freilassung im Einzelfall entgegensteht (vgl. Urteile 2C_1038/2018 vom 7. Dezember 2018 E. 4.3).
Letzteres ist insbesondere dann der Fall, wenn der Ausländer die öffentliche Sicherheit oder Ordnung gefährdet hat (vgl. <ref-ruling> E. 2c S. 109, 110 E. 2a S. 113; 2C_1089/2012 vom 22. November 2012E. 4.1; vgl. auch TARKAN GÖKSU, in: Caroni/Gächter/Thurnherr [Hrsg.], Bundesgesetz über die Ausländerinnen und Ausländer [AuG], 2010, N. 25 zu Art. 80 AuG; THOMAS HUGI YAR, Zwangsmassnahmen im Ausländerrecht, in: Uebersax et al. [Hrsg.], Ausländerrecht, 2. Aufl. 2009, Rz. 10.45). Entscheidend ist eine Prüfung aller massgeblichen Aspekte unter Berücksichtigung einer allfälligen Straffälligkeit des Ausländers, ohne dass eine solche aber zwingend gegeben sein muss (vgl. das Urteil 2A.200/2002 vom 17. Mai 2002 E. 4.1 mit Hinweis).
5.2. Aktenkundig ist vorliegend, dass der Beschwerdeführer schon mehrfach untergetaucht ist; es kann deshalb nicht ausgeschlossen werden, dass seine Freilassung die Organisation der Ausschaffung erschweren könnte. Das daraus resultierende öffentliche Interesse an einer Aufrechterhaltung der Ausschaffungshaft ist jedoch in mehrfacher Hinsicht zu relativieren: Zugunsten des Beschwerdeführers fällt zunächst ins Gewicht, dass er sich - jedenfalls gemäss den Akten, die dem Bundesgericht vorliegen - keine gewichtigen strafrechtlichen Verfehlungen vorwerfen lassen muss. Weiter ist festzuhalten, dass er sich unter Berücksichtigung der bereits 2016 ausgestandenen Ausschaffungshaft bereits rund ein Jahr in Ausschaffungshaft befindet. Diese doch erhebliche Haftdauer fällt umso mehr ins Gewicht, als aufgrund der gegenwärtigen COVID-19-Pandemie und der damit zusammenhängenden Reisebeschränkungen höchst ungewiss ist, ob die Ausschaffung des Beschwerdeführers innerhalb der nächsten Monate vollzogen werden kann. Konkrete Hinweise, dass dies mit Blick auf den Beschwerdeführer der Fall wäre, lassen sich dem angefochtenen Urteil und auch den Akten nicht entnehmen (vgl. zu diesem Massstab mit Blick auf <ref-law> Urteile 2C_312/2020 vom 25. März 2020 E. 2.3.1; 2C_386/2010 vom 1. Juni 2010 E. 6), zumal auch die Ausstellung eines Laissez-Passer durch den ägyptischen Konsul gemäss den Angaben des Staatssekretariats für Migration (vgl. e-Mail vom 29. April 2020) davon abhängt, dass vorgängig ein Flug gebucht worden ist.
5.3. Aufgrund einer Prüfung aller massgeblichen Aspekte ergibt sich, dass keine öffentlichen Interessen bestehen, die das Gewicht hätten, den vom kantonalen Migrationsamt zu verantwortenden schweren Verfahrensfehler aufzuwiegen.
6.
Der Beschwerdeführer ist demnach unverzüglich aus der Haft zu entlassen. Unbenommen ist es den solothurnischen Behörden angesichts des bisherigen Verhaltens des Beschwerdeführers (vgl. E. 5.2 hiervor),eine Eingrenzung anzuordnen (<ref-law>). Zweck dieser Massnahme ist es, den Verbleib der ausländischen Person zu kontrollieren sowie ihre Verfügbarkeit für die Vorbereitung und Durchführung der Ausschaffung weiterhin sicherzustellen (vgl. ANDREAS ZÜND, in: Spescha/Thür/Zünd/Bolzli [Hrsg.], Kommentar Migrationsrecht, 5. Aufl. 2019, N. 5 zu <ref-law>). Sie ist milderes Mittel zum ausländerrechtlich begründeten Freiheitsentzug und kann und darf analog diesem auch eine gewisse Druckwirkung zur Durchsetzung der Ausreisepflicht entfalten. Die Missachtung einer Ein- oder Ausgrenzung kann mit Freiheitsstrafe bis zu drei Jahren oder einer Geldstrafe geahndet werden (<ref-law>; vgl. Urteile 2C_1089/2012 vom 22. November 2012 E. 5; 2C_1044/2012 vom 5. November 2012 E. 3.1).
7.
7.1. Die Beschwerde ist demnach gutzuheissen und der angefochtene Entscheid aufzuheben.
7.2. Diesem Verfahrensausgang entsprechend sind keine Kosten zu erheben (Art. 66 Abs. 1 und 4 BGG); der Kanton Solothurn hat den Beschwerdeführer für das bundesgerichtliche Verfahren zu entschädigen (<ref-law>), wobei die Entschädigung dem Rechtsvertreter auszurichten ist. Dementsprechend werden die Gesuche um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren gegenstandslos.
7.3. Dem Beschwerdeführer wurden für das kantonale Verfahren keine Kosten auferlegt. Eine Neuregelung der Kostenfolgen des kantonalen Verfahrens erübrigt sich deshalb. Neu zu befinden hat die Vorinstanz hingegen über die Entschädigung des Rechtsvertreters.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen, soweit darauf eingetreten wird. Das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 8. Mai 2020wird aufgehoben.
2.
Der Beschwerdeführer ist unverzüglich aus der Ausschaffungshaft zu entlassen.
3.
Es werden keine Gerichtskosten erhoben.
4.
Der Kanton Solothurn hat dem Rechtsvertreter des Beschwerdeführers eine Parteientschädigung von Fr. 2'000.-- zu entrichten.
5.
Das Gesuch um unentgeltliche Rechtspflege wird als gegenstandslos abgeschrieben.
6.
Zur Neuverlegung der Entschädigungsfolgen des kantonalen Verfahrens wird die Sache an das Verwaltungsgericht des Kantons Solothurn zurückgewiesen.
7.
Dieses Urteil wird den Verfahrensbeteiligten, dem Haftgericht des Kantons Solothurn, dem Verwaltungsgericht des Kantons Solothurn und dem Staatssekretariat für Migration schriftlich mitgeteilt.
Lausanne, 2. Juni 2020
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Brunner