Sachverhalt: A. X._ (geb. 1978) stammt aus Eritrea. Er kam am 14. August 2010 illegal in die Schweiz. Das Bundesamt für Migration trat am 7. Januar 2011 im Dublin-Verfahren auf sein Asylgesuch nicht ein, wies ihn nach Italien weg und forderte ihn auf, spätestens am Tag nach Ablauf der Beschwerdefrist das Land zu verlassen. Einer allfälligen Beschwerde entzog es die aufschiebende Wirkung. Das Amt für Migration des Kantons Zug eröffnete X._ die entsprechende Verfügung am 21. Januar 2011. Am 28. Januar 2011 gelangte dieser hiergegen an das Bundesverwaltungsgericht, welches seine Beschwerde am 3. Februar 2011 abwies. B. Am 1. Februar 2011, um 08.10 Uhr, wurde X._ von der Polizei des Kantons Zug verhaftet und gemäss Anordnung des Amts für Migration in eine "kleine" Ausschaffungshaft versetzt. Die entsprechende Verfügung wurde ihm am 3. Februar 2011 eröffnet. Der Haftrichter am Verwaltungsgericht des Kantons Zug prüfte und genehmigte diese am 4. Februar 2011 bis zum 1. April 2011. C. X._ beantragt vor Bundesgericht mit Eingabe vom 7. Februar 2011, den Entscheid des Haftrichters aufzuheben und ihn aus der Haft zu entlassen; er sei für die ausgestandene Festhaltung überdies angemessen zu entschädigen. Der Beschwerdeführer macht geltend, sein Rechtsvertreter sei "fast systematisch" vom Verfahren ausgeschlossen worden und seine Verhaftung sei verfrüht erfolgt. Indem die Vorinstanz angenommen habe, er sei nicht fristgerecht ausgereist, verlange sie von ihm implizit, dass er auf sein Rechtsmittel verzichte und vor dem Entscheid über die aufschiebende Wirkung ausreise. Der Haftrichter am Verwaltungsgericht und das Amt für Migration des Kantons Zug beantragen, die Beschwerde abzuweisen. Das Bundesamt für Migration hat darauf verzichtet, sich vernehmen zu lassen. X._ hat an seinen Ausführungen und Anträgen festgehalten.