Sachverhalt:
A. X._ (geb. 1978) stammt aus Eritrea. Er kam am 14. August 2010 illegal in die Schweiz. Das Bundesamt für Migration trat am 7. Januar 2011 im Dublin-Verfahren auf sein Asylgesuch nicht ein, wies ihn nach Italien weg und forderte ihn auf, spätestens am Tag nach Ablauf der Beschwerdefrist das Land zu verlassen. Einer allfälligen Beschwerde entzog es die aufschiebende Wirkung. Das Amt für Migration des Kantons Zug eröffnete X._ die entsprechende Verfügung am 21. Januar 2011. Am 28. Januar 2011 gelangte dieser hiergegen an das Bundesverwaltungsgericht, welches seine Beschwerde am 3. Februar 2011 abwies.
B. Am 1. Februar 2011, um 08.10 Uhr, wurde X._ von der Polizei des Kantons Zug verhaftet und gemäss Anordnung des Amts für Migration in eine "kleine" Ausschaffungshaft versetzt. Die entsprechende Verfügung wurde ihm am 3. Februar 2011 eröffnet. Der Haftrichter am Verwaltungsgericht des Kantons Zug prüfte und genehmigte diese am 4. Februar 2011 bis zum 1. April 2011.
C. X._ beantragt vor Bundesgericht mit Eingabe vom 7. Februar 2011, den Entscheid des Haftrichters aufzuheben und ihn aus der Haft zu entlassen; er sei für die ausgestandene Festhaltung überdies angemessen zu entschädigen. Der Beschwerdeführer macht geltend, sein Rechtsvertreter sei "fast systematisch" vom Verfahren ausgeschlossen worden und seine Verhaftung sei verfrüht erfolgt. Indem die Vorinstanz angenommen habe, er sei nicht fristgerecht ausgereist, verlange sie von ihm implizit, dass er auf sein Rechtsmittel verzichte und vor dem Entscheid über die aufschiebende Wirkung ausreise.
Der Haftrichter am Verwaltungsgericht und das Amt für Migration des Kantons Zug beantragen, die Beschwerde abzuweisen. Das Bundesamt für Migration hat darauf verzichtet, sich vernehmen zu lassen. X._ hat an seinen Ausführungen und Anträgen festgehalten.

Erwägungen:
1. 1.1 Gegen letztinstanzliche kantonale Entscheide über Zwangsmassnahmen im Ausländerrecht ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (<ref-law>). Auf die frist- und formgerecht eingereichte Eingabe ist unter folgenden Vorbehalten einzutreten: (1) Gegenstand des vorliegenden Verfahrens bildet ausschliesslich die Rechtmässigkeit der angeordneten Haft. Bezüglich des Antrags auf Schadenersatz und Genugtuung liegt kein anfechtbarer letztinstanzlicher Entscheid vor (vgl. <ref-ruling> ff.). Auf das entsprechende Begehren ist nicht einzugehen. (2) Nach <ref-law> muss in der Eingabe in gedrängter Form dargelegt werden, dass und inwiefern der angefochtene Akt Recht verletzt (vgl. <ref-ruling> E. 2.1 - 2.3). Die vorliegende Beschwerdeschrift genügt diesen Anforderungen nur teilweise (vgl. unten E. 3.2.3).
1.2 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen oder sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 400).
2. 2.1 Gestützt auf Art. 77 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) kann die zuständige kantonale Behörde eine Person zur Sicherstellung des Vollzugs der Weg- oder Ausweisung für maximal sechzig Tage in Haft nehmen, wenn (a) ein vollstreckbarer Entscheid vorliegt, (b) die Schweiz nicht in der angesetzten Frist verlassen wurde und (c) die Behörde die Reisepapiere beschaffen musste. Die für den Vollzug der Weg- oder Ausweisung notwendigen Vorkehrungen sind umgehend zu treffen (Art. 77 Abs. 3 AuG). Die Zulässigkeit der Haft muss innert 96 Stunden durch die richterliche Behörde in einem schriftlichen Verfahren geprüft werden (Art. 80 Abs. 2 Satz 2 AuG). Ziel dieser Unterart der Ausschaffungshaft ist es, zu verhindern, dass die betroffene Person sich der Ausschaffung entzieht, nachdem die Reisepapiere für sie beschafft worden sind. Die Haft knüpft an die rechtskräftige und vollstreckbare Wegweisungsverfügung an; die Ausreisefrist muss unbenutzt abgelaufen und das Reisepapier von den Behörden bereits beschafft worden sein (vgl. die Botschaft vom 8. März 2002 zum Bundesgesetz über die Ausländerinnen und Ausländer, in: BBl 2002 3709 ff., dort S. 3817; Urteil 2C_74/2008 vom 30. Januar 2008 E. 2.1; vgl. TARKAN GÖKSU, in: Caroni/Gächter/Turnherr [Hrsg.], SHK Bundesgesetz über die Ausländerinnen und Ausländer (AuG), N. 2 ff. zu Art. 77 AuG; ANDREAS ZÜND, in: Spescha/Thür/Zünd/Bolzli [Hrsg.], Migrationsrecht, N. 1 zu Art. 77 AuG; THOMAS HUGI YAR, Zwangsmassnahmen im Ausländerrecht: in: Uebersax/Rudin/Hugi Yar/Geiser [Hrsg.], Ausländerrecht, 2. Aufl. 2008, N. 10.117 f.).
2.2 Der Beschwerdeführer kritisiert zu Recht, dass das Amt für Migration des Kantons Zug seine Haft nicht auf diese Bestimmung stützen konnte: Das Bundesamt für Migration trat am 7. Januar 2011 im Dublin-Verfahren auf sein Asylgesuch nicht ein, wies ihn nach Italien weg und forderte ihn auf, die Schweiz bis spätestens am Tag nach Ablauf der Beschwerdefrist zu verlassen (vgl. zum Rechtsschutz im Dublin-Verfahren: BVGE 2010/1). Die Verfügung wurde ihm am 21. Januar 2011 (Freitag der Woche 3) eröffnet. Die Beschwerdefrist von fünf Arbeitstagen (Art. 108 des Asylgesetzes vom 26. Juni 1998 [AsylG, SR 142.31]) lief damit am 28. Januar 2011 (Freitag der Woche 4) ab. Der Beschwerdeführer gelangte an diesem Tag gegen den Entscheid des BFM an das Bundesverwaltungsgericht, wobei er auch um Wiederherstellung der aufschiebenden Wirkung ersuchte. Das Bundesverwaltungsgericht entschied am 3. Februar 2011 direkt in der Sache selber, wobei es sein Urteil am 4. Februar 2011 verschickte. Der Beschwerdeführer konnte damit am 1. Februar 2011 nicht gestützt auf Art. 77 AuG inhaftiert werden: Zu diesem Zeitpunkt lag noch kein rechtskräftiger und (definitiv) vollstreckbarer Wegweisungsentscheid vor. Nach <ref-law> ("Verfahren gemäss Dublin", in seiner Fassung vom 17. Dezember 2004 bzw. vom 18. Juni 2010, AS 2010 5925) hat die Beschwerde gegen einen Nichteintretensentscheid des Bundesamts bei einem Asylsuchenden, der in einen Staat ausreisen kann, der aufgrund eines Staatsvertrags für die Durchführung des Asyl- und Wegweisungsverfahrens zuständig ist, grundsätzlich zwar keine aufschiebende Wirkung. Die asylsuchende Person kann innerhalb der Beschwerdefrist jedoch um deren Gewährung nachsuchen. Das Bundesverwaltungsgericht entscheidet innert fünf Tagen nach Eingang des Antrags. Nur wenn die aufschiebende Wirkung nicht gewährt wird bzw. das Bundesverwaltungsgericht nicht fristgerecht entscheidet, ist die Wegweisung definitiv vollziehbar. Nach der Rechtsprechung des Bundesverwaltungsgerichts muss die Frage der aufschiebenden Wirkung noch geprüft werden können, solange die asylsuchende Person sich in der Schweiz befindet (BVGE 2010/1 E. 3.2 und 3.5).
2.3 Hieran ändert die Tatsache nichts, dass das Bundesamt im vorliegenden Fall den kantonalen Behörden am 31. Januar 2011 angezeigt hatte, dass seine Verfügung vom 7. Januar 2011 in Rechtskraft erwachsen sei. Entscheidend ist bei der Anwendung von Art. 77 AuG, dass der Wegweisungsentscheid tatsächlich rechtskräftig und vollstreckbar ist, nicht dass eine Behörde fälschlicherweise angenommen hat, dies sei der Fall. Der Vertreter des Beschwerdeführers hat dem Amt für Migration am 2. Februar 2011 angezeigt, dass er gegen den Nichteintretensentscheid des BFM am 28. Januar 2011 beim Bundesverwaltungsgericht Beschwerde eingereicht hat. Spätestens ab diesem Zeitpunkt musste dem Amt für Migration klar sein, dass die Festhaltung des Beschwerdeführers nicht mehr gestützt auf Art. 77 AuG möglich war. Dieser setzt voraus, dass die betroffene Person die Schweiz nicht innert der ihr angesetzten Frist verlassen hat. Zwar legte das BFM die Ausreisefrist für den Beschwerdeführer auf den 29. Januar 2011 fest, die Frist konnte und musste indessen nicht eingehalten werden, nachdem das Bundesverwaltungsgericht innerhalb der Rechtsmittelfrist darum ersucht worden war, die aufschiebende Wirkung gegen den Entscheid des BFM wieder herzustellen. Der Beschwerdeführer war gestützt hierauf (noch) nicht verpflichtet, innert der ihm angesetzten Frist auszureisen, und durfte den Entscheid über die Gewährung oder Verweigerung der aufschiebenden Wirkung bzw. die entsprechende Entscheidungsfrist von fünf Tagen nach Eingang des Antrags im Land abwarten. Nachdem die Beschwerde und das Gesuch des Beschwerdeführers um Wiederherstellung der aufschiebenden Wirkung am 28. Januar 2011 aufgegeben worden waren, konnten sie frühestens am 31. Januar 2011 beim Bundesverwaltungsgericht eingehen, womit die Beurteilungsfrist des Gesuchs um Wiederherstellung der aufschiebenden Wirkung am 4./5. Januar 2011 ablief. Zwar entschied das Bundesverwaltungsgericht bereits am 3. Februar 2011 und war dessen Urteil dem Haftrichter bei der Genehmigung der Festhaltung des Beschwerdeführers bekannt, doch konnte dieser die Voraussetzung der verstrichenen Ausreisefrist nach Art. 77 Abs. 1 lit. b AuG nicht rückwirkend erfüllen.
2.3 Hieran ändert die Tatsache nichts, dass das Bundesamt im vorliegenden Fall den kantonalen Behörden am 31. Januar 2011 angezeigt hatte, dass seine Verfügung vom 7. Januar 2011 in Rechtskraft erwachsen sei. Entscheidend ist bei der Anwendung von Art. 77 AuG, dass der Wegweisungsentscheid tatsächlich rechtskräftig und vollstreckbar ist, nicht dass eine Behörde fälschlicherweise angenommen hat, dies sei der Fall. Der Vertreter des Beschwerdeführers hat dem Amt für Migration am 2. Februar 2011 angezeigt, dass er gegen den Nichteintretensentscheid des BFM am 28. Januar 2011 beim Bundesverwaltungsgericht Beschwerde eingereicht hat. Spätestens ab diesem Zeitpunkt musste dem Amt für Migration klar sein, dass die Festhaltung des Beschwerdeführers nicht mehr gestützt auf Art. 77 AuG möglich war. Dieser setzt voraus, dass die betroffene Person die Schweiz nicht innert der ihr angesetzten Frist verlassen hat. Zwar legte das BFM die Ausreisefrist für den Beschwerdeführer auf den 29. Januar 2011 fest, die Frist konnte und musste indessen nicht eingehalten werden, nachdem das Bundesverwaltungsgericht innerhalb der Rechtsmittelfrist darum ersucht worden war, die aufschiebende Wirkung gegen den Entscheid des BFM wieder herzustellen. Der Beschwerdeführer war gestützt hierauf (noch) nicht verpflichtet, innert der ihm angesetzten Frist auszureisen, und durfte den Entscheid über die Gewährung oder Verweigerung der aufschiebenden Wirkung bzw. die entsprechende Entscheidungsfrist von fünf Tagen nach Eingang des Antrags im Land abwarten. Nachdem die Beschwerde und das Gesuch des Beschwerdeführers um Wiederherstellung der aufschiebenden Wirkung am 28. Januar 2011 aufgegeben worden waren, konnten sie frühestens am 31. Januar 2011 beim Bundesverwaltungsgericht eingehen, womit die Beurteilungsfrist des Gesuchs um Wiederherstellung der aufschiebenden Wirkung am 4./5. Januar 2011 ablief. Zwar entschied das Bundesverwaltungsgericht bereits am 3. Februar 2011 und war dessen Urteil dem Haftrichter bei der Genehmigung der Festhaltung des Beschwerdeführers bekannt, doch konnte dieser die Voraussetzung der verstrichenen Ausreisefrist nach Art. 77 Abs. 1 lit. b AuG nicht rückwirkend erfüllen.
2.4 2.4.1 Der Beschwerdeführer kritisiert in verfahrensrechtlicher Hinsicht, sein Vertreter sei vom Verfahren praktisch ausgeschlossen worden. Tatsächlich erscheint das Vorgehen der kantonalen Behörden mit Blick auf <ref-law> problematisch: Nach Art. 81 Abs. 1 AuG hat der inhaftierte Ausländer Anspruch darauf, mit dem von ihm bezeichneten Rechtsvertreter mündlich und schriftlich zu verkehren. Ist er im Verfahren vor dem Haftrichter nicht vertreten, weil die Behörden nichts unternommen haben, um ihm den Kontakt zu ermöglichen, bzw. weil sie seinen Anwalt nicht über die Festhaltung oder den Hafttermin informiert haben, verletzt dies seinen Anspruch auf rechtliches Gehör (so die Urteile 2A.236/2002 vom 27. Mai 2002 E. 2 und 3, publ. in: Pra 2002 Nr. 142 S. 769 ff.; 2A.346/2006 vom 4. Juli 2006 E. 4.1; 2C_334/2008 vom 30. Mai 2008 E. 4; THOMAS HUGI YAR, a.a.O., N. 10.40). Eine wirksame Vertretung setzt voraus, dass der Rechtsvertreter auch die Möglichkeit erhält, die Haftprüfung vorzubereiten, was nur möglich erscheint, wenn ein entsprechendes Akteneinsichtsgesuch prioritär geprüft und die Unterlagen dem Rechtsvertreter möglichst umgehend zur Verfügung gestellt werden. Dieser muss rechtzeitig zumindest in diejenigen Akten Einsicht nehmen können, welche als Grundlage des Entscheids dienen sollen (vgl. die Urteile 2C_756/2009 vom 15. Dezember 2009 E. 1.2 und 2A.294/2002 vom 3. Juli 2002 E. 2).
2.4.2 Der Beschwerdeführer hat am 24. Januar 2011 seinen Vertreter zur Beratung und Vertretung im Asyl- und Wegweisungsverfahren sowie in Sachen Aufenthalt und Sozialhilfe bevollmächtigt. Das Amt für Migration wurde hierüber spätestens am 2. Februar 2011 informiert, trotzdem ist dem Vertreter des Beschwerdeführers die formelle Haftanordnung nicht eröffnet worden. Der Haftrichter unterstreicht in seiner Vernehmlassung, dass diesem "das einzige Aktenstück, welches vom Gericht zu erstellen war", in Kopie zugestellt worden sei. Wegen des Zeitdrucks habe kein Schriftenwechsel stattgefunden; der Fall sei im Übrigen klar gewesen. Er verkennt, dass jeder Ausschaffungshäftling Anspruch darauf hat, sich im Haftverfahren rechtskundig vertreten zu lassen und dies losgelöst davon, ob dem Richter dies nötig erscheint oder nicht (vgl. Art. 81 Abs. 1 AuG in der Fassung vom 18. Juni 2010). Ein Freiheitsentzug von zwei Monaten ist ein wesentlicher Eingriff in das verfassungsmässige Recht auf persönliche Freiheit und hat verfahrensrechtlich korrekt zu erfolgen (vgl. Art. 5 Ziff. 1 EMRK "nur auf die gesetzlich vorgeschriebene Weise entzogen werden"). Erfolgt die Haftgenehmigung in einem schriftlichen Verfahren, hat der Vertreter das Recht, schriftlich zur Verfügung bzw. zum Antrag des Amts für Migration Stellung zu nehmen, was voraussetzt, dass ihm diese Unterlagen zugestellt werden und er auf Antrag hin auch Einsicht in die entsprechenden Akten erhält. Es ist im Verfahren der Haftprüfung trotz Zeitdrucks Aufgabe des Haftrichters, sicherzustellen, dass die Rechte des Inhaftierten gewahrt bleiben (vgl. HUGI YAR, a.a.O., N. 10.24 und 10.25 S. 435). Dies umfasst auch die Kontrolle, ob die für die Haftanordnung zuständige Migrationsbehörde das Verfahren ihrerseits korrekt abgewickelt hat, was hier nicht der Fall war, da der Vertreter nicht über die Haftanordnung und deren Begründung informiert worden ist, obwohl das Vertretungsverhältnis den kantonalen Behörden spätestens ab dem 2. Februar 2011 bekannt sein musste. Diesen ist indessen zugutezuhalten, dass der Beschwerdeführer bei seiner Befragung selber nicht auf die Vertretung hingewiesen und das Amt für Migration zumindest am 4. Februar 2011 erfolglos versucht hat, seinen Vertreter telefonisch zu erreichen; zu diesem Zeitpunkt war die Haft jedoch bereits angeordnet und genehmigt.
3. 3.1 Der Beschwerdeführer verlangt wegen der festgestellten Mängel, aus der Haft entlassen zu werden. Nicht jede Verletzung von Verfahrensvorschriften führt indessen zur Haftentlassung; es kommt vielmehr jeweils darauf an, welche Bedeutung den verletzten Vorschriften für die Wahrung der Rechte des Betroffenen einerseits und dem Interesse an einer reibungslosen Durchsetzung seiner Ausschaffung andererseits zukommt (vgl. <ref-ruling> E. 2c S. 109; Urteil 2C_334/2008 vom 30. Mai 2008 E. 4.3). Das Bundesgericht kann zudem eine unzutreffende Begründung durch eine eigene, bundesrechtskonforme ersetzen und den angefochtenen Entscheid mit dieser bestätigen ("Begründungssubstitution", vgl. <ref-ruling> E. 2.2 S. 550; Urteile 2C_963/2010 vom 11. Januar 2011 E. 2.3.3 und 2C_945/2010 vom 5. Januar 2011 E. 2.3).
3. 3.1 Der Beschwerdeführer verlangt wegen der festgestellten Mängel, aus der Haft entlassen zu werden. Nicht jede Verletzung von Verfahrensvorschriften führt indessen zur Haftentlassung; es kommt vielmehr jeweils darauf an, welche Bedeutung den verletzten Vorschriften für die Wahrung der Rechte des Betroffenen einerseits und dem Interesse an einer reibungslosen Durchsetzung seiner Ausschaffung andererseits zukommt (vgl. <ref-ruling> E. 2c S. 109; Urteil 2C_334/2008 vom 30. Mai 2008 E. 4.3). Das Bundesgericht kann zudem eine unzutreffende Begründung durch eine eigene, bundesrechtskonforme ersetzen und den angefochtenen Entscheid mit dieser bestätigen ("Begründungssubstitution", vgl. <ref-ruling> E. 2.2 S. 550; Urteile 2C_963/2010 vom 11. Januar 2011 E. 2.3.3 und 2C_945/2010 vom 5. Januar 2011 E. 2.3).
3.2 3.2.1 Nach Art. 76 Abs. 1 lit. b AuG kann die zuständige Behörde eine ausländische Person, der ein erstinstanzlicher Weg- oder Ausweisungsentscheid eröffnet worden ist, zur Sicherstellung von dessen Vollzug in Ausschaffungshaft nehmen, wenn konkrete Anzeichen befürchten lassen, dass sie sich der Ausschaffung entziehen will, insbesondere weil sie ihren Mitwirkungspflichten nicht nachkommt (Ziff. 3) oder ihr bisheriges Verhalten darauf schliessen lässt, dass sie sich behördlichen Anordnungen widersetzt (Ziff. 4). Die Haft kann in diesem Fall grundsätzlich bis zu sechs Monate dauern (Art. 79 Abs. 1 in der Fassung vom 18. Juni 2010). Sie ist von der zuständigen kantonalen Behörde anzuordnen und spätestens nach 96 Stunden durch eine richterliche Instanz aufgrund einer mündlichen Verhandlung zu überprüfen (Art. 80 Abs. 2 Satz 1 AuG in der Fassung vom 18. Juni 2010). Mit dem Bundesbeschluss vom 18. Juni 2010 betreffend die Übernahme der EG-Rückführungsrichtlinie (Richtlinie 2008/115/EG; Weiterentwicklung des Schengen-Besitzstandes) hat der Gesetzgeber die Ausschaffungshaft um eine zusätzliche Unterart der administrativen Festhaltung ergänzt (Art. 76 Abs. 2 lit. b Ziff. 6 AuG): Danach kann eine ausländische Person nunmehr zur Sicherung des Vollzugs des Wegweisungsentscheids, der im Kanton eröffnet wird, ausländerrechtlich festgehalten werden, wenn auf ein Asylgesuch nicht einzutreten ist, weil der Gesuchsteller in einen Drittstaat ausreisen kann, welcher für die Durchführung des Asyl- und Wegweisungsverfahrens staatsvertraglich zuständig ist und der Vollzug der Wegweisung absehbar erscheint. Die Haft kann in diesem Fall "höchstens dreissig Tage" dauern (Art. 76 Abs. 2 AuG in der Fassung vom 18. Juni 2010). Die Rechtmässigkeit und Angemessenheit wird bei dieser Haftart nur auf Antrag der inhaftierten Person hin durch eine richterliche Behörde in einem schriftlichen Verfahren geprüft, wobei jederzeit hierum ersucht werden kann (Art. 80 Abs. 2bis AuG in der Fassung vom 18. Juni 2010).
3.2.2 Das Bundesamt für Migration ist auf das Asylgesuch des Beschwerdeführers am 7. Januar 2011 im sogenannten Dublin-Verfahren nicht eingetreten und hat ihn nach Italien weggewiesen (<ref-law> in der Fassung vom 16. Dezember 2005). Der Entscheid wurde ihm am 21. Januar 2011 eröffnet. Bereits am 20. September 2010 war das Bundesamt für Migration mit einer Rückübernahmeanfrage an das italienische Dublin-Office gelangt. Mit Mail vom 30. November 2010 stellte es den italienischen Behörden gegenüber fest, dass bis zum 21. November 2010 keine Antwort eingegangen sei, womit nach Art. 18 Abs. 7 der Dublin-II-Verordnung (Verordnung 343/2003 vom 18. Februar 2003, in ABl. L 222 vom 5. September 2003) Italien für das Asylverfahren zuständig sei ("Verfristung"). Als der Beschwerdeführer am 1. Februar 2011 in Haft genommen wurde, lag somit ein erstinstanzlicher Wegweisungsentscheid vor, weshalb das Amt für Migration grundsätzlich befugt war, zur Sicherung von dessen Vollzug den Beschwerdeführer gestützt auf Art. 76 AuG in Ausschaffungshaft zu nehmen. Seine Anhaltung war einerseits durch den Dublin-Haftgrund (Wegweisungsentscheid aufgrund von <ref-law> [Art. 74 Abs. 1 lit. b Ziff. 6 AuG]) gedeckt, andererseits waren beim ihm die Haftgründe von Art. 76 Abs. 1 lit. b Ziff. 3 und 4 AuG gegeben, da er vor und nach dem Abschluss des erstinstanzlichen Asylverfahrens klar erklärt hatte, auf keinen Fall bereit zu sein, nach Italien zurückzukehren und die Zuständigkeit der dortigen Behörden anzuerkennen, womit die konkrete begründete Gefahr bestand, dass er sich der Ausschaffung durch Untertauchen entziehen dürfte (vgl. <ref-ruling> E. 3b/aa S. 375).
3.2.3 Die vorliegend angefochtene Festhaltung ist deshalb materiellrechtlich gestützt auf Art. 76 AuG nicht bundesrechtswidrig: Der Haftrichter hat zwar die falsche Rechtsgrundlage geprüft und deren Voraussetzungen als gegeben erachtet; die beanstandete ausländerrechtliche Festhaltung war und ist zwar nicht als kleine, wohl aber als normale Ausschaffungshaft rechtens. Der Flug nach Italien ist für den 23. März 2011 gebucht, womit der Vollzug der Ausschaffung absehbar erscheint. Da die Rückführung des Beschwerdeführers nach Italien nicht innerhalb eines Monats realisiert werden konnte, was bereits bei der Haftanordnung feststand, war eine Dublin-Haft nicht sachgerecht. Es bestehen keine Hinweise darauf, dass sich die schweizerischen Behörden nicht zeitgerecht um die Rückführung des Beschwerdeführers in das gestützt auf das Dublin-Abkommen für die weiteren Verfahren zuständige Italien bemühen werden. Der Beschwerdeführer kritisiert zwar, der Haftrichter habe die Verhältnismässigkeit und die konkreten Festhaltungsbedingungen nicht geprüft, er legt jedoch entgegen seiner Begründungspflicht mit keinem Wort dar, weshalb und inwiefern seine Festhaltung in diesen Punkten bundesrechtswidrig wäre. Es ist auf seine entsprechenden Rügen somit nicht weiter einzugehen (<ref-law>, vgl. oben E. 1.1).
3.2.4 Die ordentliche Ausschaffungshaft (Art. 76 AuG), die Dublin-Ausschaffungshaft (Art. 76 Abs. 1 lit. b Ziff. 6 AuG) und die kleine Ausschaffungshaft (Art. 77 AuG) unterscheiden sich in ihrem verfahrensrechtlichen Abläufen (vgl. oben E. 3.2.1). Da beim Beschwerdeführer nur die ordentliche Ausschaffungshaft zulässig war, hätte deren Anordnung durch das Amt für Migration vom Haftrichter innert 96 Stunden seit der ausländerrechtlich begründeten Festhaltung (vgl. <ref-ruling> E. 2b/aa S. 175) im Rahmen einer mündlichen Verhandlung und im Beisein seines Vertreters überprüft werden müssen. Dies ist nicht geschehen. Es rechtfertigt sich indessen nicht, die Sache an die Vorinstanz zurückzuweisen, um die entsprechende Verhandlung noch nachzuholen: Die ausländerrechtliche Festhaltung des Beschwerdeführers ist haftrichterlich geprüft worden. Sein Vertreter konnte sich im bundesgerichtlichen Verfahren umfassend zur Zulässigkeit von Zwangsmassnahmen äussern. Es steht dem Beschwerdeführer schliesslich auch frei, im Rahmen von Art. 80 Abs. 5 AuG ein Haftentlassungsgesuch zu stellen, sollten sich die Umstände verändert haben und sollte er deshalb eine erneute Prüfung durch den kantonalen Haftrichter wünschen.
4. 4.1 Die Beschwerde ist nach dem Gesagten im Resultat abzuweisen, soweit darauf eingetreten werden kann. Mit Blick darauf, dass das Bundesgericht die Begründung der Haft substituiert, rechtfertigt es sich, die Beschwerde im Sinne der Erwägungen abzuweisen und die Haft im Dispositiv ausdrücklich gestützt auf Art. 76 Abs. 1 lit. b Ziff. 3 und 4 AuG zu bestätigen.
4.2 Der bedürftige Beschwerdeführer beantragt für das bundesgerichtliche Verfahren, ihm die unentgeltliche Rechtspflege zu gewähren und von der Erhebung von Verfahrenskosten abzusehen. Sein Gesuch erübrigt sich: Nach <ref-law> hat unnötige Kosten zu tragen, wer sie verursacht. Die kantonalen Behörden haben hier in mehreren Punkten - wie der Beschwerdeführer zu Recht beanstandet hat - Bundesrecht verletzt. Die Verfahrenskosten wären deshalb an sich durch den Kanton zu tragen; es rechtfertigt sich aber, gestützt auf <ref-law> keine solchen zu erheben. Da der Beschwerdeführer nur dank seiner Beschwerde zu einem korrekten Haftprüfungsverfahren gekommen ist, hat der Kanton Zug ihn für seine Bemühungen vor Bundesgericht jedoch angemessen zu entschädigen (vgl. Art. 68 Abs. 4 i.V.m. <ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird im Sinne der Erwägungen abgewiesen, soweit darauf einzutreten ist; die im angefochtenen Entscheid vom 4. Februar 2011 bis zum 1. April 2011 genehmigte Ausschaffungshaft wird gestützt auf Art. 76 Abs. 1 lit. b Ziff. 3 und 4 AuG bestätigt.
2. 2.1 Es werden keine Kosten erhoben.
2.2 Der Kanton Zug hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 1'000.-- zu entschädigen.
2.3 Das Gesuch um unentgeltliche Rechtspflege wird als gegenstandslos abgeschrieben.
3. Dieses Urteil wird dem Beschwerdeführer, dem Amt für Migration und dem Verwaltungsgericht des Kantons Zug, Haftrichter, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 25. Februar 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Hugi Yar