Sachverhalt:
A. X._ stammt nach eigenen Angaben aus Georgien. Er reiste, ebenfalls gemäss eigenen Angaben, am 24. November 2008 in die Schweiz ein und ersuchte in Vallorbe um Asyl. Mit Verfügung vom 26. Juni 2009 trat das Bundesamt für Migration (BFM) auf das Gesuch nicht ein und wies ihn weg. Seit dem 9. Juli 2009 galt X._ als unbekannten Aufenthalts, wobei sich später herausstellte, dass er nach Deutschland ausgereist war. Nachdem die Schweizer Behörden einer Rückübernahme von X._ zugestimmt hatten, wurde dieser am 19. Januar 2010 durch die Schweiz rückübernommen. Gleichentags machte das Migrationsamt des Kantons Aargau (im Folgenden: Migrationsamt) X._ auf seine sofortige Ausreisepflicht aufmerksam bzw. forderte ihn auf, Reisedokumente zu beschaffen. Am 22. Januar 2010 beantragte X._ ein georgisches Laissez-passer. Am 22. März 2010 teilte das BFM dem Migrationsamt mit, für X._ sei ein Sonderflug für Mitte April 2010 vorgesehen. Die Teilnahme daran setze voraus, dass X._ sich in Ausschaffungshaft befinde.
B. Am 30. März 2010 nahm das Migrationsamt X._ für drei Monate in Ausschaffungshaft. Der Präsident des Rekursgerichts im Ausländerrecht des Kantons Aargau lehnte es am 1. April 2010 aber ab, die Festhaltung zu genehmigen. Er ordnete an, X._ unverzüglich aus der Ausschaffungshaft zu entlassen. Der Haftrichter erwog, es seien keine Anzeichen vorhanden, die an der Ausschaffungsmöglichkeit in rechtlicher Hinsicht Zweifel aufkommen liessen. Es fehle im Weiteren an genügend konkreten Anzeichen für eine bestehende Untertauchensgefahr. Abgesehen davon, dass die angeordnete Haft nicht das letzte mögliche Mittel zur Durchsetzung der Ausschaffung darstelle, stehe sie sodann auch in keinem Verhältnis zur mutmasslichen Haftdauer. Schliesslich lasse sich eine Inhaftierung nicht damit begründen, dass das BFM eine vorgängige Inhaftierung bei Sonderflügen offenbar generell vorschreibe; eine Inhaftierung sei nur dann zu bestätigen, wenn die gesetzlichen Voraussetzungen erfüllt sind.
C. Das Bundesamt für Migration ist am 7. Mai 2010 mit dem Antrag an das Bundesgericht gelangt, den Entscheid des Rekursgerichts im Ausländerrecht des Kantons Aargau aufzuheben. Dieser verletze insofern Bundesrecht, als er davon ausgehe, durch die illegale Ausreise nach Deutschland sei der Wegweisungsentscheid des BFM konsumiert worden. Sodann verletze er Bundesrecht, weil er das Bestehen einer Untertauchensgefahr verneine und zudem offenlasse, ob der Haftgrund nach Art. 76 Abs. 1 lit. b Ziff. 2 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG, SR 142.20) erfüllt sei. Schliesslich sei Bundesrecht auch deshalb verletzt, weil die Ausschaffungshaft zufolge Unverhältnismässigkeit nicht bestätigt worden sei.
Das Migrationsamt des Kantons Aargau schliesst auf Gutheissung der Beschwerde. Das Rekursgericht im Ausländerrecht beantragt die Abweisung der Beschwerde.
D. Am 7. Juni 2010 teilte das Migrationsamt mit, X._ sei am 4. Juni 2010 kontrolliert nach Tbilisi ausgereist.

Erwägungen:
1. Das Bundesamt für Migration ist im Ausländerrecht befugt, gegen kantonal letztinstanzliche richterliche Entscheide mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht zu gelangen (<ref-law> in Verbindung mit Art. 14 Abs. 2 der Organisationsverordnung vom 17. November 1999 für das Eidgenössische Justiz- und Polizeidepartement [OV-EJPD; SR 172.213.1]; <ref-ruling> E. 1.1 mit Hinweisen). Seine Beschwerdemöglichkeit dient der richtigen und einheitlichen Anwendung des Bundesrechts; sie setzt kein hierüber hinausgehendes spezifisches schutzwürdiges (öffentliches) Interesse voraus (Urteil 2A.748/2006 vom 18. Januar 2007 E. 2.2). Immerhin muss ein mit Blick auf die einheitliche Anwendung des Bundesrechts in vergleichbaren Fällen zureichendes Interesse an der Beurteilung der aufgeworfenen Probleme bestehen (Urteile 2C_49/2009 vom 27. April 2009 E. 1 und 2A.709/2006 vom 23. März 2007 E. 2.2). Dies ist praxisgemäss dann der Fall, wenn dem Gericht eine neue Rechtsfrage unterbreitet oder eine konkret drohende und nicht anders abwendbare bundesrechtswidrige Rechtsentwicklung verhindert werden soll (<ref-ruling> E. 1.1 mit Hinweisen; HUGI YAR, Zwangsmassnahmen im Ausländerrecht, in: Uebersax et al. [Hrsg.], 2. Aufl., 2009, Rz. 10.184 mit Übersicht über die Rechtsprechung). Die Behördenbeschwerde darf nicht die Behandlung einer vom konkreten Fall losgelösten abstrakten Rechtsfrage des objektiven Rechts bezwecken, sondern hat sich auf konkrete Probleme eines tatsächlich bestehenden Einzelfalls mit Auswirkungen über diesen hinaus zu beschränken (vgl. Urteile 2C_49/2009 vom 27. April 2009 E. 1, 2C_643/2008 vom 29. Januar 2009 E. 1; <ref-ruling> E. 1.1 S. 203; <ref-ruling> E. 1.1 S. 4). Sie muss zudem auch für diesen noch von einer gewissen Aktualität und (wenigstens potentiellen) Relevanz sein (vgl. Urteil 2A.748/2006 vom 18. Januar 2007 E. 2.1 und 2.2), was bei den Zwangsmassnahmen nur ausnahmsweise anzunehmen ist, falls das Wegweisungsverfahren, dessen Sicherung sie dienen, erfolgreich abgeschlossen werden konnte (vgl. Urteil 2C_49/2009 vom 27. April 2009 E. 1 und 2.2).
2. 2.1 Das Rekursgericht im Ausländerrecht des Kantons Aargau stellt im angefochtenen Entscheid weder die in der bundesgerichtlichen Rechtsprechung entwickelten Grundsätze zum Bestehen einer Untertauchensgefahr (Art. 76 Abs. 1 lit. b Ziff. 3 und 4 AuG; <ref-ruling> E. 3.1 mit Hinweisen; HUGI YAR, a.a.O., Rz. 10.89 - 10.94) noch diejenigen zur Verhältnismässigkeit des Haftentscheids (vgl. hierzu <ref-ruling> E. 5.1 und dort nicht publizierte E. 7.2; HUGI YAR, a.a.O., Rz. 10.114 ff.) in Frage. Der Haftrichter ist vielmehr in deren Anwendung aufgrund des Verhaltens des Betroffenen zum Schluss gekommen, dass keine genügend konkreten Anzeichen für eine Untertauchensgefahr bestünden; ferner sei die Haft zur Durchsetzung der Ausreiseverpflichtung nicht notwendig und stelle nicht das letzte Mittel dar. Sodann hat er festgestellt, mangels konkreter Vollzugsperspektive wäre es unverhältnismässig, den Gesuchsgegner für unbestimmte Dauer zu inhaftieren (vgl. Art. 80 Abs. 2 AuG zur Prüfung der Angemessenheit des Haftentscheids durch den Haftrichter; HUGI YAR, a.a.O., Rz. 10.25 S. 435). Sein Entscheid beruhte damit auf den spezifischen Umständen des Einzelfalls. Bei den vom Bundesamt aufgeworfenen Fragen der Untertauchensgefahr bzw. der (Un-)Verhältnismässigkeit der Haftanordnung stehen deshalb sachverhaltsspezifische Aspekte im Vordergrund, die von Fall zu Fall variieren und weder eine neue Rechtsfrage betreffen, noch geeignet sind, eine bundesrechtswidrige Rechtsentwicklung zu begründen.
Das weitere Verfahren hat dem Haftrichter, dem ein gewisser Beurteilungsspielraum zustand, Recht gegeben, ist doch X._ am 4. Juni 2010 kontrolliert nach Tbilisi ausgereist. Damit wurde sein Wegweisungsverfahren erfolgreich abgeschlossen und die vorgenannten Rügen des Bundesamtes laufen im Resultat auf eine abstrakte Prüfung von in der Rechtsprechung bereits hinreichend beantworteten Fragen hinaus. Auf die Beschwerde ist diesbezüglich somit nicht einzutreten.
2.2 Soweit das Bundesamt vorbringt, der Haftgrund von Art. 76 Abs. 1 lit. b Ziff. 2 AuG sei vorliegend erfüllt, ist festzustellen, dass das Rekursgericht im Ausländerrecht diese Frage gar nicht entschieden hat, sondern sie mit dem Verweis auf die Unverhältnismässigkeit der Haftanordnung offenliess. Abgesehen davon, dass demnach die Beschwerde des Bundesamtes diesbezüglich nicht der Verhinderung einer konkret drohenden und nicht anders abwendbaren bundesrechtswidrigen Rechtsentwicklung dienen kann, bezieht sie sich somit auch nicht auf ein im vorliegenden Einzelfall relevantes und konkretes Rechtsproblem. Soweit das Bundesamt rügt, das Rekursgericht sei zu Unrecht davon ausgegangen, durch die illegale Ausreise sei der Wegweisungsentscheid des Bundesamtes konsumiert und hinfällig geworden, ist festzustellen, dass das Rekursgericht im konkreten Fall das Vorliegen eines rechtsgenüglichen Wegweisungsentscheides bejaht hat. Die Frage der Konsumation des davor erlassenen Wegweisungsentscheides durch (unrechtmässige) Ausreise war demnach im vorliegenden Fall ebenfalls nicht entscheidwesentlich. Die Zulassung der Behördenbeschwerde bezüglich derartiger für den konkreten Fall nicht entscheidender Punkte würde zur Behandlung von abstrakten Fragen durch das Bundesgericht führen. Nachdem sie für den tatsächlich bestehenden Einzelfall - insbesondere auch aufgrund des erfolgreichen Abschlusses des Wegweisungsverfahrens - von keinerlei Aktualität und auch nicht von (zumindest potentieller) Relevanz sind, ist - jedenfalls im vorliegenden Verfahren - auch in Bezug auf diese Vorbringen nicht auf die Beschwerde einzutreten.
3. Dem Verfahrensausgang entsprechend sind keine Kosten zu erheben (<ref-law>). Es sind keine Parteientschädigungen geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Es werden keine Kosten erhoben.
3. Dieses Urteil wird dem Beschwerdeführer, dem Migrationsamt des Kantons Aargau (für sich und zuhanden des Beschwerdegegners) und dem Rekursgericht im Ausländerrecht des Kantons Aargau schriftlich mitgeteilt.
Lausanne, 16. Juni 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Klopfenstein