Sachverhalt:
A. X._ (geb. 1987) stammt nach eigenen Angaben aus Zimbabwe. Er durchlief in der Schweiz erfolglos ein Asylverfahren; dabei ergab sich, dass er aller Wahrscheinlichkeit nach aus Nigeria stammen dürfte. Die Fremdenpolizei des Kantons Schwyz nahm ihn am 22. Mai 2006 in Ausschaffungshaft, welche der ANAG-Richter am Verwaltungsgericht tags darauf prüfte und bis zum 5. September 2006 bestätigte.
B. B.a Am 30. Mai 2006 wandte sich X._ mit einer Beschwerde ("appeal") an das Verwaltungsgericht des Kantons Schwyz, welches diese zuständigkeitshalber an das Bundesgericht weiterleitete. X._ beantragt darin sinngemäss, er sei aus der Haft zu entlassen.
B.b Am 12. Juni 2006 ersuchte der ANAG-Richter darum, die Beschwerde abzuweisen; zuvor sei jedoch der Vertreterin von X._ Gelegenheit zu geben, die Eingabe ihres Klienten zu ergänzen; er sei als Haftrichter nicht darüber informiert gewesen, dass die Caritas Schweiz am 16. März 2006 mit der Wahrnehmung der Interessen von X._ betraut worden sei, weshalb die Haftverhandlung ohne dessen Vertreterin stattgefunden habe. Die Fremdenpolizei des Kantons Schwyz nahm am 13. Juni 2006 ohne ausdrücklichen Antrag zur Sache Stellung. Das Bundesamt für Migration verzichtete am 19. Juni 2006 auf eine Vernehmlassung.
B.c Die Vertreterin von X._ beantragte am 20. Juni 2006, den angefochtenen Entscheid aufzuheben und ihren Klienten sofort aus der Haft zu entlassen, da sie zu Unrecht und in Verletzung von dessen Anspruch auf rechtliches Gehör am Verfahren nicht beteiligt gewesen sei.

Das Bundesgericht zieht in Erwägung:
1. 1.1 Nach Art. 13b Abs. 1 lit. d ANAG (SR 142.20; eingefügt durch Ziff. I 1 des Bundesgesetzes vom 19. Dezember 2003 über das Entlastungsprogramm 2003 [AS 2004 S. 1633 ff., S. 1647]) kann ein erstinstanzlich weg- oder ausgewiesener Ausländer in Ausschaffungshaft genommen werden, wenn das Bundesamt für Migration auf sein Asylgesuch in Anwendung von Art. 32 Abs. 2 lit. a-c oder <ref-law> (SR 142.31) nicht eingetreten ist. Dieser Haftgrund hat selbständigen Charakter: Gestützt auf das im Asylverfahren festgestellte missbräuchliche Verhalten besteht die gesetzliche Vermutung, dass sich der Betroffene (auch) dem Vollzug der Ausschaffung widersetzen bzw. versuchen wird, diesen zu vereiteln oder zumindest zu erschweren; zusätzliche Hinweise dafür, dass eine Untertauchensgefahr besteht, sind nicht erforderlich (<ref-ruling> E. 3.2.2 S. 382, 488 E. 3.2 S. 490; Urteil 2A.76/2006 vom 13. Juni 2006, E. 2.1).
1.2 Auf das Asylgesuch des Beschwerdeführers ist am 28. Februar (Verfügung des Bundesamts für Migration) und 9. März (Entscheid der Schweizerischen Asylrekurskommission) bzw. 10. Mai 2006 (Negativer Wiedererwägungsentscheid des Bundesamts für Migration) in Anwendung von Art. 32 Abs. 2 lit. a ANAG rechtskräftig nicht eingetreten worden; der Beschwerdeführer hatte den Behörden ohne entschuldbare Gründe innert 48 Stunden keine Papiere abgegeben, die es ermöglichten, ihn zu identifizieren, zudem lagen keine offensichtlichen Hinweise dafür vor, dass er verfolgt werden könnte. Damit war die Ausschaffungshaft zur Sicherung der mit dem negativen Asylentscheid verbundenen Wegweisung gestützt auf Art. 13b Abs. 1 lit. d ANAG zulässig.
1.3 Beim Beschwerdeführer bestand im Übrigen - wie der Haftrichter zu Recht angenommen hat - auch Untertauchensgefahr im Sinne von Art. 13b Abs. 1 lit. c ANAG (vgl. <ref-ruling> E. 3.3.3, 56 E. 3.1; <ref-ruling> E. 2.1 S. 243): Der Beschwerdeführer behauptet, aus Zimbabwe zu kommen; er konnte indessen selbst zu einfachen Punkten des alltäglichen Lebens in diesem Land kaum Auskunft geben. Zu seinem Reiseweg und dem Verbleib der Papiere machte er widersprüchliche bzw. unglaubwürdige Angaben. Bereits im Asylverfahren bestanden aufgrund einer Lingua-Analyse deutliche Hinweise dafür, dass er aller Wahrscheinlichkeit nach aus Nigeria stammen dürfte und versucht, die Behörden über seine Identität und Herkunft zu täuschen. Trotz wiederholter Aufforderung hierzu hat er das Land nicht verlassen und sich auch nicht in einer ihm zumutbaren Weise um Papiere bemüht (Art. 13f lit. c ANAG). Zwar will er der Vertretung von Zimbabwe telefoniert haben, doch vermag er dies nicht zu belegen und hat er es unbestrittenermassen unterlassen, sich mit den nigerianischen Behörden in Verbindung zu setzen. Trotz abgeschlossenem Asylverfahren hat er wiederholt erklärt, nicht bereit zu sein, in seine Heimat bzw. nach Afrika zurückzukehren; schliesslich wurde er in Luzern in der Drogenszene mit einem grösseren Geldbetrag (Fr. 190.-- in 20er- und 10er-Noten) angehalten, ohne dass er die Herkunft dieser Mittel plausibel zu erklären vermochte. Gestützt auf sein Verhalten bietet er unter diesen Umständen keine Gewähr dafür, dass er sich den Behörden freiwillig für den zwangsweisen Vollzug seiner Wegweisung zur Verfügung halten und bei der Ermittlung seiner Herkunft und der Papierbeschaffung mitwirken wird (vgl. <ref-ruling> E. 3.3.3 S. 386 ff.). Hieran ändert nichts, dass er sich bis zu seiner Inhaftierung mehr oder weniger regelmässig in der ihm zugewiesenen Unterkunft aufgehalten hat: Aufgrund seines unkooperativen Verhaltens musste er vorerst nicht ernsthaft mit einer Ausschaffung rechnen. Es bestand für ihn deshalb keine Veranlassung, sich den Behörden nicht auf Zusehen hin zur Verfügung zu halten und nicht von den mit seinem Aufenthalt verbundenen staatlichen Leistungen zu profitieren (<ref-ruling> E. 3.3.3.2 S. 387, 488 E. 3.4 S. 491 f.).
2. 2.1 Dass die Ausreise des Beschwerdeführers gegen seinen Willen nur schwer organisiert werden kann, lässt seine Ausschaffung nicht als undurchführbar (vgl. Art. 13c Abs. 5 lit. a ANAG) und die zur Sicherung von deren Vollzug angeordnete Haft als unverhältnismässig erscheinen. Gerade wegen solcher Schwierigkeiten und Ungewissheiten hat der Gesetzgeber die Haftdauer erhöht und die Möglichkeit der Haftverlängerung geschaffen (vgl. <ref-ruling> E. 4.1.2 u. 4.1.3; <ref-ruling> E. 2c S. 172 mit Hinweisen; BBl 1994 I 305 ff., S. 316). Für die Undurchführbarkeit müssen triftige Gründe sprechen, d.h. es muss praktisch feststehen, dass sich die Ausschaffung innert vernünftiger Frist nicht wird realisieren lassen. Dies ist regelmässig nur dann der Fall, wenn sie mit grosser Wahrscheinlichkeit ausgeschlossen bzw. ihr Vollzug nicht mehr absehbar erscheint, obwohl die Identität des Ausländers belegt ist oder doch wenigstens kein Anlass besteht, an der behaupteten Herkunft zu zweifeln (vgl. <ref-ruling> E. 4.1.2 u. 4.1.3; <ref-ruling> E. 2c S. 172; <ref-ruling> E. 2 S. 220).
2.2 Der Beschwerdeführer ist am 28. Juni 2006 einer nigerianischen Expertenbehörde vorgeführt worden; die entsprechenden Resultate stehen zurzeit noch aus; die Anerkennungsquote bei den vom Bundesamt für Migration vorgeführten mutmasslichen nigerianischen Staatsangehörigen ist jedoch hoch. Unter diesen Umständen kann nicht gesagt werden, dass die Ausschaffung des Beschwerdeführers in seine Heimat zurzeit rechtlich oder tatsächlich nicht möglich ist (Art. 13c Abs. 5 lit. a ANAG; <ref-ruling> E. 4.1.3 mit Hinweisen). Für den Fall, dass er durch die Experten nicht anerkannt werden sollte, hat der Haftrichter in den Erwägungen seines Entscheids die Fremdenpolizei angewiesen, eine Haftentlassung zu prüfen. Anhaltspunkte dafür, dass sich die Behörden nicht weiterhin im Rahmen ihrer Möglichkeiten mit dem nötigen Nachdruck um die Papierbeschaffung bemühen würden, bestehen nicht (zum Beschleunigungsgebot [Art. 13b Abs. 3 ANAG]: <ref-ruling> ff.; <ref-ruling> E. 4). Der Beschwerdeführer kann seine Haft verkürzen, indem er mit den Behörden zusammenarbeitet; je schneller seine Papiere beschafft werden können bzw. er diese selber besorgt, desto eher kann die Ausschaffung vollzogen werden und desto kürzer fällt seine restliche Festhaltung aus.
3. 3.1 Der Haftrichter hat die Ausschaffungshaft nicht nur für drei Monate bis zum 21. August 2006 genehmigt, sondern darüber hinaus bis zum 5. September 2006. Dies ist nicht unproblematisch: Nach Art. 13b Abs. 2 ANAG darf die Ausschaffungshaft "höchstens" drei Monate dauern; sie kann hernach um maximal sechs Monate verlängert werden. Die Haftverlängerung setzt voraus, dass "besondere Hindernisse" dem Vollzug der Weg- oder Ausweisung entgegenstehen; ob dies der Fall ist, muss jeweils an einer neuen Haftverhandlung (zusätzlich) geprüft werden (so Urteil 2A.313/1997 vom 29. August 1997, E. 3a). Das Gesetz sagt indessen nichts darüber aus, wann diese innerhalb der ersten drei Monate stattzufinden hat. Das Bundesgericht hat hieraus geschlossen, dass eine Haftverlängerung, welche vor Ablauf der drei Monate erfolgt, da die Haft ursprünglich für weniger als diese Zeit bewilligt worden ist, über die erstmals zulässige Maximalfrist hinaus genehmigt werden kann, falls die entsprechenden Voraussetzungen ("besondere Hindernisse") bereits zu diesem Zeitpunkt geprüft wurden und sich ihr Bestehen als hinreichend absehbar und klar erweist; der Betroffene kann in einem solchen Fall jedoch unabhängig von den Sperrfristen gemäss Art. 13c Abs. 4 letzter Satz ANAG nach drei Monaten Haft ein Haftentlassungsgesuch stellen, womit die übliche Zeitabfolge richterlicher Haftprüfungen (vgl. <ref-ruling> E. 1c S. 112 f.) erhalten bleibt (Urteile 2A.571/1997 vom 6. Januar 1998, E. 3a, 2A.99/1997 vom 26. März 1997, E. 2d) und dem Betroffenen kein verfahrensrechtlicher Nachteil erwächst (vgl. Hugi Yar, Zwangsmassnahmen im Ausländerrecht, in: Uebersax/Münch/Geiser/Arnold, Ausländerrecht, Basel/Genf/München 2002, Rz. 7.29). Das Gleiche kann analog gelten, wenn - wie hier - die erstmalige Haftgenehmigung ausnahmsweise um wenige Tage über die drei Monate hinaus erfolgt und insofern die Haftprüfung - der Sache nach - mit einer kurzen Haftverlängerung im Sinne von Art. 13b Abs. 2 ANAG zusammenfällt.
3.2 Der Haftrichter hat das besondere Hindernis, welches eine Haftgenehmigung für einige Tage über die drei Monate hinaus rechtfertigte (Art. 13b Abs. 2 ANAG), darin gesehen, dass der Beschwerdeführer ohne seine Kooperationsbereitschaft frühestens mit dem nächsten Sonderflug am 31. August 2006 (Donnerstag), d.h. zehn Tage nach Ablauf der dreimonatigen Haftdauer, in seine Heimat ausgeschafft werden kann. Im Lichte der konkreten Umstände mache es wenig Sinn, vorerst nur eine dreimonatige Haftdauer bis zum 21. August 2006 zu bewilligen und alsdann eine Verlängerung um rund zehn Tage zu gewähren, um den gegebenen Rückflugtermin einhalten zu können. Nach dem Aktenstand sei - von der noch fehlenden Anerkennung der nigerianischen Expertenkommission abgesehen - nicht mit wesentlichen neuen Erkenntnissen bei einem zusätzlichen Verfahren mit neuer Verhandlung für die fehlenden zehn Tage zu rechnen. Es rechtfertige sich deshalb, die Haft bis zum 5. September 2006 (Dienstag) zu genehmigen, womit bei Schwierigkeiten mit dem Sonderflug noch Zeit bleibe, allenfalls eine Fortsetzung der Ausschaffungshaft zu prüfen; dem Beschwerdeführer stehe es jederzeit frei, mit den Behörden zu kooperieren und seine Haft damit zu verkürzen; im Übrigen könne er ein Haftentlassungsgesuch stellen, sollte er die Haftvoraussetzungen nicht mehr als gegeben erachten. Gestützt auf diese Begründung ist die bewilligte Haftdauer weder unverhältnismässig noch anderweitig bundesrechtswidrig.
4. Was der Beschwerdeführer bzw. seine Vertreterin gegen die Rechtmässigkeit der Haft weiter einwenden, überzeugt nicht:
4.1 Zwar hat der Beschwerdeführer die Caritas mit der Vertretung seiner Interessen beauftragt und hätte diese über die Haft und die Haftverhandlung somit informiert werden müssen, doch führt die entsprechende Verletzung seines Anspruchs auf rechtliches Gehör nicht zur Haftentlassung (zu den Rechtsfolgen bei Verletzung von Verfahrensgarantien: Hugi Yar, a.a.O., Rz. 7.33 ff.): Die Rechtsvertreterin des Beschwerdeführers hatte im vorliegenden Verfahren Gelegenheit, umfassend Stellung zu nehmen. Die verschiedenen Rechtsprobleme wurden mit der gleichen Kognition geprüft, wie sie der Vorinstanz zukam, wobei sich keine Fragen bezüglich des Sachverhalts stellten (vgl. Art. 105 Abs. 2 OG); der formelle Mangel kann deshalb als vor Bundesgericht geheilt gelten (vgl. <ref-ruling> E. 2e S. 373 f.; <ref-ruling> E. 2d S. 138; <ref-ruling> E. 4 S. 87; vgl. auch Hansjörg Seiler, Abschied von der formellen Natur des rechtlichen Gehörs, in: SJZ 100/ 2004 S. 377 ff.). Nicht jede Verletzung von Verfahrensvorschriften führt zur Haftentlassung; es kommt vielmehr jeweils darauf an, welche Bedeutung den verletzten Vorschriften für die Wahrung der Rechte des Betroffenen einerseits und dem Interesse an einer reibungslosen Durchsetzung seiner Ausschaffung andererseits zukommt (vgl. <ref-ruling> E. 2c S. 109). Das haftrichterliche Versehen wog vorliegend nicht sehr schwer, da das mündliche Haftprüfungsverfahren tatsächlich durchgeführt wurde (vgl. <ref-ruling> ff. bzw. 110 ff.), der Beschwerdeführer es an der Verhandlung selber unterliess, darauf hinzuweisen, dass er die Caritas mandatiert hatte, und der Fall gestützt auf die publizierte Rechtsprechung schliesslich als relativ klar gelten musste. Die Rechtsvertreterin des Beschwerdeführers weist in ihren Ausführungen denn auch nur darauf hin, sie hätte bei der Haftprüfung anwesend sein müssen, legt aber nicht dar, inwiefern die Haftgenehmigung als solche bundesrechtswidrig sein könnte. Im Hinblick auf das unkooperative Verhalten des Beschwerdeführers überwiegt unter diesen Umständen das öffentliche Interesse daran, den Vollzug seiner Ausweisung sicherstellen zu können; es rechtfertigt sich deshalb nicht, den angefochtenen Entscheid aufzuheben und eine neue haftrichterliche Prüfung anzuordnen (so das Urteil 2A.234/1996 vom 23. Mai 1996, E. 3b, wo es aber um eine Haftverlängerung ging) oder den Beschwerdeführer aus der Haft zu entlassen.
4.2 Soweit dieser erklärt, bei einer Haftentlassung in ein anderes Land reisen zu wollen, ist nicht ersichtlich, wie er dies ohne gültige Reisepapiere rechtmässig tun könnte; im Übrigen hätte er nach dem asylrechtlichen Nichteintretensentscheid hierzu Gelegenheit gehabt. Wenn er geltend macht, nicht in seine Heimat bzw. nach Afrika zurückkehren zu können, da er dort verfolgt werde, verkennt er, dass die Asyl- und Wegweisungsfrage nicht Gegenstand des Haftprüfungsverfahrens bildet; hierüber wurde im Asylverfahren abschliessend entschieden. Es bestehen keine Anhaltspunkte dafür, dass seine Wegweisung offensichtlich unzulässig wäre und deshalb nicht mit einer Ausschaffungshaft sichergestellt werden könnte; nur in diesem Fall wäre die Haftgenehmigung aber allenfalls zu verweigern gewesen (vgl. <ref-ruling> E. 2; <ref-ruling> E. 2; <ref-ruling> E. 2 S. 220). Soweit der Beschwerdeführer einwendet, er habe sich nichts zuschulden kommen lassen, übersieht er, dass die Ausschaffungshaft keine Strafe, sondern eine Administrativmassnahme zur Sicherung des Vollzugs seiner Wegweisung bildet, die wegen seines bisherigen Verhaltens und der Weigerung, sich Papiere zu beschaffen (vgl. Art. 13f ANAG), gefährdet erscheint. Seiner gesundheitlichen Beeinträchtigung (Hepatitis B) kann im Rahmen des Haftvollzugs Rechnung getragen werden; gemäss dem ärztlichen Befund sind diesbezüglich zurzeit keine Therapiemassnahmen erforderlich; die entsprechenden Probleme sind deshalb nicht geeignet, die Haft als unverhältnismässig erscheinen zu lassen oder die Hafterstehungsfähigkeit des Beschwerdeführers in Frage zu stellen. Für eine minimale medizinische Betreuung ist gesorgt; es steht dem Beschwerdeführer frei, über die Vollzugsbehörden - an die er sich auch zu wenden hat, soweit er das Essen beanstandet (vgl. Hugi Yar, a.a.O., Rz. 103) - einen Arzt zu konsultieren.
5. Die Beschwerde ist somit abzuweisen, soweit darauf einzutreten ist. Dem Verfahrensausgang entsprechend würde der unterliegende Beschwerdeführer kostenpflichtig (Art. 156 Abs. 1 OG). Es rechtfertigt sich indessen, praxisgemäss von der Erhebung einer Gerichtsgebühr abzusehen (vgl. Art. 153a OG; Urteil 2A.86/2001 vom 6. März 2001, E. 3). Parteientschädigungen sind nicht geschuldet (vgl. Art. 159 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Es werden keine Kosten erhoben und keine Entschädigung zugesprochen.
3. Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei und dem Verwaltungsgericht, ANAG-Einzelrichter, des Kantons Schwyz sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 4. Juli 2006
Im Namen der II. öffentlichrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: