Sachverhalt:
A. Der 1972 geborene G._ war als Gartenbauarbeiter tätig. Unter Angabe von Rückenbeschwerden meldete er sich am 27. August 1997 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zug untersuchte den medizinischen und erwerblichen Sachverhalt; dazu liess sie den Versicherten in der MEDAS (Gutachten vom 19. April 2000) und der Stiftung X._ (Bericht vom 10. März 2000) abklären. Mit Verfügung vom 13. Oktober 2000 stellte sie bei G._ eine seit dem 23. September 1996 bestehende 100-prozentige Arbeits- und Erwerbsunfähigkeit fest; gestützt darauf sprach sie ihm eine ganze Invalidenrente bei einem Invaliditätsgrad von 100 % ab 1. September 1997 zu. Bei der im Mai 2003 durchgeführten ersten Rentenrevision blieb der Anspruch unverändert. Im Rahmen des im Juni 2005 eingeleiteten Revisionsverfahrens veranlasste die IV-Stelle die Abklärung des Versicherten am Institut Y._, (orthopädisch-psychiatrisch-neurologisches Gutachten vom 12. März 2008). Gestützt darauf hob sie die Rente mit Verfügung vom 8. September 2008 auf Ende Oktober 2008 hin auf, weil am Tage der gutachterlichen Feststellung (7. März 2008) keine Einschränkung der Arbeitsfähigkeit in der zuletzt ausgeübten Tätigkeit im Gartenbau mehr ausgewiesen und aus medizinischer Sicht auch für jede andere Tätigkeit volle Arbeitsfähigkeit attestiert gewesen sei.
B. Das Verwaltungsgericht des Kantons Zug wies die dagegen erhobene Beschwerde mit Entscheid vom 3. September 2009 ab. Es erachtete die Gründe für eine Rentenrevision als nicht gegeben, sah es aber als erwiesen an, dass die Rentenzusprache vom 13. Oktober 2000 zweifellos unrichtig war, weshalb der ursprüngliche Entscheid in Wiedererwägung gezogen werden dürfe, welche Auffassung die IV-Stelle in der Verfügung vom 8. September 2008 im Sinne einer Eventualbegründung vertreten hatte.
C. G._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten; er beantragt, es sei festzustellen, dass die Voraussetzungen einer Wiedererwägung nicht erfüllt sind; die IV-Stelle sei anzuweisen, die ganze Invalidenrente weiter auszurichten; eventualiter sei sie zu einer neuen und umfassenden Begutachtung zu verhalten; zudem ersucht er um unentgeltliche Rechtspflege.
Verwaltung und Vorinstanz schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Im angefochtenen Entscheid werden die Bestimmungen über den Begriff der Invalidität (<ref-law>, <ref-law>), die Voraussetzungen für einen Rentenanspruch und dessen Umfang (<ref-law>), die Ermittlung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>, <ref-law>) sowie die dazu und zum Beweiswert eines Arztberichtes oder Gutachtens ergangene Rechtsprechung (<ref-ruling> E. 3a S. 352; RKUV 2003 Nr. U 487 S. 345 E. 5.1 [U 38/01]) zutreffend angegeben. Darauf wird verwiesen. Eine Revisionsverfügung (<ref-law>) kann praxisgemäss durch die substituierte Begründung der Wiedererwägung (<ref-law>) bestätigt werden (<ref-ruling>).
3. 3.1 Aufgrund des vorinstanzlichen Entscheides, der den Anfechtungs- und Streitgegenstand im Verfahren vor Bundesgericht bildet (<ref-law>), ist allein zu prüfen, ob die wiedererwägungsweise Aufhebung der ganzen Invalidenrente Bundesrecht verletzt.
3.2 Die verfügte Aufhebung einer Invalidenrente und ihre Bestätigung durch die substituierte Begründung der Wiedererwägung kann nur bei Unvertretbarkeit der ursprünglichen Rentenzusprache erfolgen. Zweifellos ist die Unrichtigkeit, wenn kein vernünftiger Zweifel daran möglich ist, dass die Verfügung unrichtig war. Es ist nur ein einziger Schluss - derjenige auf die Unrichtigkeit der Verfügung - möglich (<ref-ruling> E. 6a S. 393; Urteil des Eidgenössischen Versicherungsgerichts U 378/05 vom 10. Mai 2006, E. 5.2 und 5.3, publ. in: SVR 2006 UV Nr. 17 S. 62 f. und Urteil des Eidgenössischen Versicherungsgerichts C 29/04 vom 24. Januar 2005, E. 3.1.1, publ. in: SVR 2005 Arbeitslosenversicherung Nr. 8 S. 27, ferner etwa Urteil des Eidgenössischen Versicherungsgerichts I 912/05 vom 5. Dezember 2006, E. 3.2, je mit Hinweisen). Das Erfordernis der zweifellosen Unrichtigkeit ist in der Regel erfüllt, wenn die gesetzeswidrige Leistungszusprechung aufgrund falscher oder unzutreffender Rechtsregeln erlassen wurde oder wenn massgebliche Bestimmungen nicht oder unrichtig angewandt wurden (<ref-ruling> E. 2a S. 128; Urteil des Eidgenössischen Versicherungsgerichts C 151/94 vom 30. Mai 1995, E. 3c, publ. in: ARV 1996/97 Nr. 28 S. 158). Anders verhält es sich, wenn der Wiedererwägungsgrund im Bereich materieller Anspruchsvoraussetzungen liegt, deren Beurteilung in Bezug auf gewisse Schritte und Elemente (z.B. Invaliditätsbemessung, Einschätzungen der Arbeitsunfähigkeit, Beweiswürdigungen, Zumutbarkeitsfragen) notwendigerweise Ermessenszüge aufweist. Erscheint die Beurteilung solcher Anspruchsvoraussetzungen (einschliesslich ihrer Teilaspekte wie etwa die Einschätzung der Arbeitsfähigkeit) vor dem Hintergrund der Sach- und Rechtslage, wie sie sich im Zeitpunkt der rechtskräftigen Leistungszusprechung darbot, als vertretbar, scheidet die Annahme zweifelloser Unrichtigkeit aus (Urteil des Bundesgerichts I 907/06 vom 7. Mai 2007, E. 3.2.1 mit Hinweisen; Urteil 9C_215/2007 vom 2. Juli 2007, E. 3.2 mit Hinweisen).
4. 4.1 Die Vorinstanz hat befunden, aus dem MEDAS-Gutachten vom 19. April 2000 bzw. dem dazugehörigen orthopädischen Konsiliargutachten (Dr. med. W._, Orthopädische Chirurgie, vom 10. März 2000), auf die sich die Verwaltung bei der Zusprechung der ganzen Rente gestützt habe, gehe zwar hervor, dass die Gutachter die lumbosakrale Segmentdegeneration für die Rückenschmerzen und die Arbeitsunfähigkeit verantwortlich bezeichneten. Sie hätten indessen auch übereinstimmend festgehalten, dass ein nicht objektivierbarer Anteil an Beschwerden vorliege (vor allem Ängste vor möglichen Komplikationen einer allfälligen Operation). Dafür, dass eine volle Arbeitsunfähigkeit aber für jegliche berufliche Tätigkeit bestanden habe, finde sich im Gutachten und im orthopädischen Konsilium keine einleuchtende medizinische Erklärung, werde doch lediglich eine bereits mehrjährige Gesamtsituation angeführt. Im orthopädischen Gutachten sei eine klare Diskrepanz zwischen den angegebenen Beschwerden und dem objektiv und morphologisch Festgestellten geschildert. Dr. med. W._ habe sogar festgehalten, dass man "im Rahmen der medizinisch-sozial-menschlich-rechtlichen Möglichkeiten nur eine dauerhafte Arbeitsunfähigkeit und eine Hilflosigkeit attestieren können-müssen" wird. Schon allein aus dieser Formulierung werde klar, dass in die damalige Beurteilung in erheblichem Ausmass IV-fremde Faktoren einbezogen worden seien.
4.2 Die im Jahre 2000 verfügbaren gutachterlichen Stellungnahmen waren eindeutig nicht ausreichend beweiskräftig um die Zusprechung einer ganzen Invalidenrente rechtfertigen zu können, wies der Beschwerdeführer doch Befunde an der Wirbelsäule auf, die - wie in solchen Fällen gerichtsnotorisch - der zumutbaren (Selbst-)Eingliederung und Erzielung eines rentenausschliessenden Einkommens keineswegs entgegenstehen. Dass der Frage nach der Arbeitsfähigkeit in Verweisungstätigkeiten und dem schon damals vom Orthopäden Dr. med. W._ erhobenen Befund, wonach ein nicht objektivierbarer Teil des Leidens vorliege, bei der gegebenen Sachlage nicht weiter nachgegangen wurde, ist als klarer Fehler der Sachverhaltsfeststellung zu werten. Denn bei dem damaligen Beschwerdebild einer lumbosakralen Segmentdegeneration und dem bildgebend dokumentierten Rückgang der Diskushernie ist nicht nachvollziehbar, weshalb in leidensangepassten Tätigkeiten eine 100-prozentige Arbeitsunfähigkeit bestanden haben soll. Nach der Aktenlage war die Zusprechung einer ganzen Rente damals ein offensichtlich falscher Entscheid. Da der Invaliditätsgrad aufgrund der attestierten, medizinisch nicht begründeten vollen Arbeitsunfähigkeit in jedwelcher Tätigkeit als unvertretbar zu qualifizieren ist, ist die Wiedererwägung der zugesprochenen Leistung mit der substituierten Begründung, dass die Rentenzusprache im Oktober 2000 offensichtlich unrichtig gewesen war, gerechtfertigt. Die dazu erforderliche Voraussetzung einer erheblichen Bedeutung der Berichtigung ist angesichts des geldwerten Charakters der periodischen Rentenleistung an den mittlerweile noch nicht 40-jährigen Beschwerdeführer erfüllt. Die wiedererwägungsweise bestätigte Aufhebung des Rentenanspruchs durch das kantonale Gericht verletzt daher Bundesrecht nicht.
5. Was die Vorbehalte gegen die Begutachtung durch das Institut Y._ betrifft, hat das Bundesgericht bereits mit Urteil 8C_474/2009 vom 7. Januar 2010 (E. 7 und 8) entschieden, dass die Nähe des Institutsleiters Dr. med. A._ zur christlichen "Vineyard"-Bewegung keine Befangenheit und keine Zweifel an der fachlichen Qualifikation zu begründen vermag. Zudem hat Dr. med. A._ bei der psychiatrischen Begutachtung nicht mitgewirkt. Die gegen das Gutachten oder Teile davon vorgebrachten Rügen sind nicht stichhaltig; sie sind von der Vorinstanz im Detail geprüft und verworfen worden (E. 7.2.1 - 7.2.8).
6. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege wird entsprochen. Er hat der Gerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (Art. Abs. 4 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes einstweilen auf die Gerichtskasse genommen.
4. Rechtsanwältin Petra Oehmke Schiess wird als unentgeltliche Anwältin des Beschwerdeführers bestellt, und es wird ihr für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. Februar 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz