Erwägungen:
1. X._ (geb. 1976) stammt nach eigenen Angaben aus Georgien. Das kantonale Ausländeramt St. Gallen nahm ihn auf den 23. März 2008 hin in Ausschaffungshaft, welche der Einzelrichter an der Verwaltungsrekurskommission des Kantons St. Gallen am 26. März 2008 prüfte und bis zum 22. Juni 2008 bestätigte. X._ ist hiergegen am 9. und 15. April 2008 mit dem Antrag an das Bundesgericht gelangt, er sei aus der Haft zu entlassen.
2. Seine Eingaben erweisen sich als offensichtlich unbegründet und können ohne Weiterungen im vereinfachten Verfahren nach Art. 109 BGG erledigt werden. Es erübrigt sich zu prüfen, ob sie den Begründungsanforderungen von Art. 42 BGG genügen:
2.1 Das Bundesamt für Migration ist am 8. Februar 2008 auf das Asylgesuch von X._ nicht eingetreten, da er tags zuvor ohne Adressangabe aus dem Empfangs- und Verfahrenszentrum Kreuzlingen verschwunden war. Es hielt ihn gleichzeitig an, das Land zu verlassen. Obwohl X._ hiervon erst am 20. März 2008 Kenntnis erhielt, hat die entsprechende Verfügung als am siebten Tage nach dem gescheiterten Eröffnungsversuch mitgeteilt zu gelten (asylrechtliche Zustellvermutung nach Art. 12 Abs. 1 AsylG [SR 142.31]). Auf sein Asylgesuch ist damit rechtskräftig in Anwendung von Art. 32 Abs. 2 lit. c AsylG (schuldhafte grobe Verletzung der Mitwirkungspflicht) nicht eingetreten worden, womit der Haftgrund von Art. 76 Abs. 1 lit. b Ziff. 2 AuG (SR 142.20) gegeben ist (BGE 130 II 377 E. 3.2). Im Übrigen besteht bei ihm Untertauchensgefahr im Sinne der bundesgerichtlichen Rechtsprechung zu Art. 76 Abs. 1 lit. b Ziff. 3 und 4 AuG: Der Beschwerdeführer ist bereits einmal ohne Adressangabe verschwunden und hier straffällig geworden; er hat wiederholt erklärt, nicht bereit zu sein, in seine Heimat zurückzukehren, und sich am 20. März 2008 geweigert, ein Formular zur Beschaffung eines Reisepapiers bei seinen Heimatbehörden auszufüllen. Gestützt auf dieses Verhalten kann nicht angenommen werden, dass er sich ohne Festhaltung den Behörden für den Vollzug seiner Wegweisung freiwillig zur Verfügung halten wird (vgl. BGE 130 II 56 E. 3.1 S. 58 f.). Seine Ausschaffung ist absehbar (Art. 80 Abs. 6 lit. a AuG), da er für weitere Abklärungen nötigenfalls auch per Sonderflug nach Tiflis verbracht werden kann. Es liegen keine Anhaltspunkte dafür vor, dass sich die Behörden nicht weiterhin zielstrebig um den Vollzug seiner Wegweisung bemühen werden (Art. 76 Abs. 4 AuG). Der Beschwerdeführer kann seine Festhaltung verkürzen, indem er mit den Behörden kooperiert. Der angefochtene Entscheid verletzt kein Bundesrecht.
2.2 Was der Beschwerdeführer hiergegen einwendet, überzeugt nicht: Soweit er geltend macht, krank zu sein, wird seinem gesundheitlichen Zustand im Rahmen des Festhaltungsvollzugs Rechnung getragen. Der zuständige Arzt hat ihn am 25. März 2008 für hafterstehungsfähig erklärt und ihn mit den nötigen Medikamenten versorgt; sollten diese nicht wirken, steht es ihm frei, im Rahmen der Anstaltsordnung um den weiteren Besuch eines Arztes zu ersuchen. Hinsichtlich seines Angebots, bei einer Haftentlassung bereit zu sein, nach Deutschland oder in ein anderes Land auszureisen, ist nicht ersichtlich, wie er dies ohne Papiere und Visum legal tun könnte; nur sein Heimatstaat ist verpflichtet, ihn gegebenenfalls auch ohne solche zurückzunehmen (vgl. BGE 133 II 97 E. 4.2.2). Der Asyl- und Wegweisungsentscheid ist rechtskräftig und kann im vorliegenden Verfahren nicht mehr in Frage gestellt werden (BGE 128 II 193 E. 2.2 S. 197 ff.; 125 II 217 E. 2 S. 220 f.). Nur aufgrund gültiger Papiere ist es möglich zu prüfen, ob die Ausschaffung allenfalls auch in einen Drittstaat erfolgen kann (vgl. Art. 69 Abs. 2 AuG). Nachdem der Fall des Beschwerdeführers keine spezifischen Probleme gestellt hat, war der Haftrichter nicht von Verfassungs wegen gehalten, ihm einen unentgeltlichen Rechtsbeistand zu bestellen (vgl. zur Publikation bestimmtes Urteil 2C_556/2007 vom 21. Januar 2008, E. 3); dies erübrigt sich auch für das bundesgerichtliche Verfahren (Art. 64 BGG). Für alles Weitere wird auf die zutreffenden Ausführungen im angefochtenen Entscheid verwiesen (Art. 109 Abs. 3 BGG).
3. Es rechtfertigt sich aufgrund der besonderen Umstände (Bedürftigkeit, absehbarer Vollzug der Wegweisung), keine Kosten zu erheben (Art. 66 Abs. 1 Satz 2 BGG). Das kantonale Ausländeramt St. Gallen wird ersucht, dafür besorgt zu sein, dass das vorliegende Urteil dem Beschwerdeführer korrekt eröffnet und verständlich gemacht wird.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Verbeiständung wird abgewiesen.
3. Es werden keine Gerichtskosten erhoben.
4. Dieses Urteil wird den Parteien, der Verwaltungsrekurskommission des Kantons St. Gallen, Zwangsmassnahmen im Ausländerrecht, und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 25. April 2008
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Merkli Hugi Yar