Sachverhalt:
A. Der 1966 geborene D._ bezog gestützt auf die Verfügung der IV-Stelle Uri vom 18. März 2003 ab 1. März 2003 auf der Grundlage einer 100%igen Invalidität eine ganze Invalidenrente. Nach Einholung eines polydisziplinären medizinischen Gutachtens des Instituts Y._ vom 16. August 2011 hob die IV-Stelle mit Verfügung vom 13. September 2011 die Rente wiedererwägungsweise mit Wirkung auf das Ende des folgenden Monats nach Zustellung der Verfügung auf. Zur Begründung wurde ausgeführt, die rentenzusprechende Verfügung sei offensichtlich unrichtig und aktuell bestehe bei einem Invaliditätsgrad von 0 % kein Anspruch auf eine Invalidenrente.
B. Die von D._ hiegegen erhobene Beschwerde wies das Obergericht des Kantons Uri, unter Gewährung der unentgeltlichen Rechtspflege, mit Entscheid vom 23. März 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt D._ beantragen, es sei der vorinstanzliche Entscheid aufzuheben, weiterhin eine ganze Invalidenrente auszurichten und festzustellen, dass die vorinstanzlich gewährte unentgeltliche Verbeiständung in masslicher Hinsicht willkürlich zu tief angesetzt worden sei. Zudem wird um Gewährung der unentgeltlichen Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG). Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es prüft die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
2. Nach der Rechtsprechung kann gegen eine vom kantonalen Gericht im Rahmen der unentgeltlichen Verbeiständung festgesetzte Entschädigung nur vom Rechtsvertreter beim Bundesgericht Beschwerde erhoben werden. Die rechtsvertretene Person selber ist dazu nicht legitimiert. Die Entschädigung kann auch nicht durch eine vom Rechtsvertreter im Namen seines Mandanten erhobene Beschwerde angefochten werden (SVR 2008 MV Nr. 2 S. 3, M 2/06 E. 5.3.2; Urteil 8C_505/2011 vom 24. Oktober 2011 E. 1.1, je mit Hinweisen).
Die vorliegende Beschwerde wurde vom Rechtsvertreter im Namen des Versicherten erhoben. Soweit sie sich gegen die Entschädigung des unentgeltlichen Rechtsbeistandes richtet, ist nach dem Gesagten nicht auf sie einzutreten.
3. Die Beschwerde enthält auch Ausführungen zur Frage der revisionsweisen Aufhebung einer Invalidenrente. Es wird dabei bestritten, dass eine revisionsbegründende Besserung des Gesundheitszustandes eingetreten sei.
Diese Vorbringen sind nicht sachbezüglich, da die seit 1. März 2003 bezogene Invalidenrente nicht revisionsweise, d.h. wegen einer seit der Rentenzusprechung eingetretenen anspruchsrelevanten Änderung der tatsächlichen Verhältnisse, aufgehoben wurde. Vielmehr erfolgte die Aufhebung wiedererwägungsweise, d.h. wegen offensichtlicher Unrichtigkeit der rentenzusprechenden Verfügung vom 18. März 2003. Dieses Rückkommen auf die frühere Verfügung setzt keine zwischenzeitlich eingetretene Sachverhaltsänderung voraus. Auf die entsprechende Einwände des Versicherten ist daher nicht weiter einzugehen.
4. Streitig und zu prüfen ist, ob die ab 1. März 2003 bezogene Invalidenrente zu Recht wiedererwägungsweise aufgehoben wurde.
Das kantonale Gericht hat im angefochtenen Entscheid die Bestimmungen und Grundsätze zum Anspruch auf eine Invalidenrente, zu deren wiedererwägungsweisen Herabsetzung oder Aufhebung und zu den zu beachtenden Beweisregeln zutreffend dargestellt. Darauf wird verwiesen.
5. 5.1 Die Vorinstanz hat erwogen, in keinem der Arztberichte, welche im Zeitpunkt der rentenzusprechenden Verfügung vom 18. März 2003 vorgelegen hätten, sei eine andauernde 100%ige Arbeitsunfähigkeit auch in angepassten Tätigkeiten attestiert worden. Die von den Ärzten im Grundsatz bejahte Restarbeitsfähigkeit in angepasster Tätigkeit sei bei Erlass der Verfügung unberücksichtigt geblieben resp. nicht näher abgeklärt worden. Demzufolge sei die Rentenzusprache aufgrund eines Invaliditätsgrades von 100 % zweifellos unrichtig. Die Berichtigung der Rentenverfügung sei mit Blick auf die zur Diskussion stehende Dauerleistung auch von erheblicher Bedeutung. Die Verwaltung sei daher gestützt auf Art. 53 Abs. 2 ATSG befugt gewesen, wiedererwägungsweise auf ihre Verfügung zurückzukommen.
5.2 Der Versicherte macht geltend, entgegen der vorinstanzlichen Beurteilung habe im Zeitpunkt der Rentenzusprechung keine 100%ige Arbeitsfähigkeit in angepassten Tätigkeiten bestanden. Er beruft sich dabei auf Aussagen in drei Arztberichten und rügt in diesem Zusammenhang auch eine Verletzung des Untersuchungsgrundsatzes.
5.3 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1 hievor). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach Art. 61 lit. c ATSG Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (Art. 106 Abs. 1 BGG; vgl. Urteil 8C_888/2011 vom 7. Mai 2012 E.2.2).
5.3.1 Vorab ist festzuhalten, dass das kantonale Gericht entgegen der Darstellung in der Beschwerde nicht auf eine volle Arbeitsfähigkeit in angepassten Tätigkeiten erkannt hat. Es verneinte vielmehr eine andauernde volle Arbeitsunfähigkeit auch in angepassten Tätigkeiten (E. 4.1 hievor). Dabei stützte es sich auf eine einlässliche Auseinandersetzung mit den medizinischen Akten. Es berücksichtigte dabei auch die vom Versicherten erwähnten Arztberichte und sah sich deswegen nicht zu einer anderen Betrachtungsweise veranlasst.
5.3.2 Die Vorbringen in der Beschwerde lassen diese Beurteilung nicht als offensichtlich unrichtig oder sonst wie rechtswidrig erscheinen. Die vom Versicherten angeführten ärztlichen Aussagen, wonach eine Verschlechterung des Gesundheitszustandes eingetreten sei, der Besuch der Handelsschule vorübergehend nicht und danach allenfalls nur fraktioniert, d.h. nicht vollzeitlich, möglich sei und ein Rehabilitationsaufenthalt keine Schmerzreduktion gebracht habe, stehen der Annahme einer noch gegebenen Restarbeitsfähigkeit in angepassten Tätigkeiten nicht entgegen. Gleiches gilt für die weiter zitierten Aussagen eines Arztes, wonach Umschulungsversuche scheitern dürften, der Gesundheitszustand stationär sei und medizinische Massnahmen keine Besserung der Arbeitsfähigkeit brächten, zumal auch hiebei nicht etwa attestiert wurde, dem Versicherten sei keine Arbeitstätigkeit mehr zumutbar. Es wird in der Beschwerde sodann nicht weiter begründet und ist auch nicht ersichtlich, inwiefern hiebei der Untersuchungsgrundsatz verletzt worden sein soll.
5.4 Die vorinstanzliche Beurteilung ist im Übrigen unbestritten und gibt keinen Anlass für weitere Bemerkungen. Die Voraussetzungen für eine Wiedererwägung der Rentenverfügung wurden demnach zu Recht bejaht.
6. 6.1 Das kantonale Gericht hat sodann geprüft, ob die IV-Stelle die aktuelle Arbeitsfähigkeit in angepassten Tätigkeiten genügend abgeklärt und den Invaliditätsgrad korrekt berechnet hat. Es hat dies bejaht. Gestützt auf die medizinischen Akten sei von einer 100%igen Arbeits- und Leistungsfähigkeit in leichter, wechselbelastender Tätigkeit auszugehen. Davon ausgehend sei ein Einkommensvergleich aufgrund der Verhältnisse im Jahr 2010 vorzunehmen. Das im Gesundheitsfall mutmasslich erzielte Einkommen (Valideneinkommen) sei auf Fr. 60'649.-, das trotz gesundheitsbedingter Beeinträchtigung zumutbarerweise erzielbare Einkommen (Invalideneinkommen) anhand von Tabellenlöhnen auf Fr. 61'642.- festzusetzen. Die Gegenüberstellung der beiden Einkommen ergebe, dass keine Invalidität vorliege. Ob beim Invalideneinkommen ein leidensbedingter Abzug vorzunehmen sei, könne offen bleiben. Denn selbst wenn der maximal zulässige Leidensabzug von 25 % angerechnet werde, liege der Invaliditätsgrad immer noch unter den gemäss Art. 28 Abs. 2 IVG für einen Rentenanspruch mindestens erforderlichen 40 %.
6.2 Die Einwände in der Beschwerde betreffen die vorinstanzlichen Feststellungen zu Gesundheitszustand und Arbeitsfähigkeit, mithin Tatfragen (vgl. E. 5.3 Ingress hievor). Der Versicherte macht diesbezüglich auch die Verletzung verfahrensrechtlicher Grundsätze geltend. Im Einzelnen ergibt sich Folgendes:
6.2.1 Das kantonale Gericht hat erkannt, es sei auf die Expertise des Instituts Y._ vom 16. August 2011 abzustellen. Diese erfülle in allen Teilen die Anforderungen an ein beweiswertiges medizinisches Gutachten.
In der Expertise des Instituts Y._ wird gestützt auf polydisziplinäre (internistische/ allgemeinmedizinische, psychiatrische und rheumatologische) Untersuchungen festgehalten, die Arbeitsfähigkeit werde (einzig) durch ein chronisches residuelles sensomotorisches Ausfallsyndrom L5/S1 links beeinträchtigt. Deswegen bestehe für jede körperlich mittelschwere bis schwere belastende berufliche Tätigkeit eine Arbeitsunfähigkeit. Für eine körperlich leichte berufliche Tätigkeit sei aus polydisziplinärer Sicht eine 100%ige Arbeits- und Leistungsfähigkeit gegeben. Als Diagnosen ohne Einfluss auf die Arbeitsfähigkeit werden aufgeführt: schädlicher Gebrauch von Alkohol; exokrine Pankreasinsuffizienz; Verdacht auf Hämangiom Lebersegment IV; chronischer Nikotinabusus.
6.2.2 Was der Versicherte einwendet, lässt die vorinstanzliche Beweiswürdigung nicht als offensichtlich unrichtig oder sonstwie rechtswidrig erscheinen. Das Vorbringen, das Institut Y._ habe die Frage der Notwendigkeit medizinischer Massnahmen nicht beurteilt, ist aktenwidrig. Im Gutachten des Instituts Y._ vom 16. August 2011 wird ausdrücklich festgehalten, dass solche Massnahmen nicht sinnvoll und nicht erfolgversprechend seien. Die Einwände betreffend das Verhalten eines Experten des Instituts Y._ hat das kantonale Gericht in nicht zu beanstandender Beweiswürdigung für unbegründet erachtet. Die vom Versicherten erwähnten weiteren Arztberichte sind bei der Begutachtung des Instituts Y._ und im vorinstanzlichen Entscheid berücksichtigt und nachvollziehbar gewürdigt worden. Gleiches gilt für die von ihm genannten körperlichen Beschwerden sowie für die eingenommene Medikation. Die Einwände betreffend die psychiatrische Begutachtung am Instituts Y._ sind ebenfalls unbegründet, zumal sich aus den Aussagen der übrigen medizinischen Experten und aus den weiteren Arztberichten allenfalls Hinweise auf eine psychosoziale Überlagerung, aber keine verlässlichen Anhaltspunkte für ein die Arbeitsfähigkeit beeinträchtigendes psychisches Leiden ergeben. Es finden sich sodann keine Widersprüche im Gutachten des Instituts Y._, welche eine andere Betrachtungsweise rechtfertigen könnten. Mit dem kantonalen Gericht ist im Lichte von BGE 137 V 210, insbesondere E. 6 Ingress S. 266, der Einwand, auf die Expertise des Instituts Y._ könne mangels Unabhängigkeit der Begutachtungsstelle nicht abgestellt werden, als unbegründet zu betrachten. Insgesamt ergibt sich, dass der kantonale Entscheid entgegen der in der Beschwerde vertretenen Auffassung weder Bundesgesetzesrecht, noch Bestimmungen der Bundesverfassung oder der EMRK verletzt. Namentlich liegt auch keine Verletzung der vorinstanzlichen Begründungspflicht vor und ist, da von weiteren Abklärungen kein entscheidrelevanter neuer Aufschluss zu erwarten ist, auch der Untersuchungsgrundsatz nicht verletzt.
6.3 Als einziger Einwand gegen die weiteren vorinstanzlichen Erwägungen zur Invaliditätsbemessung und zur Aufhebung der Invalidenrente kann der Hinweis des Versicherten verstanden werden, wonach rechtsprechungsgemäss im Falle einer Revision oder Wiedererwägung der Bedarf einer beruflichen Eingliederung zu prüfen sei, wenn die betroffene versicherte Person das 55. Altersjahr zurückgelegt oder die Rente mehr als 15 Jahre bezogen habe. Der Beschwerdeführer nimmt hiebei Bezug namentlich auf das Urteil 9C_228/2010 vom 26. April 2011 (veröffentlicht in: SVR 2011 IV Nr. 73 S. 220). Es ist jedoch nicht ersichtlich, was daraus gewonnen werden soll, wären doch hier beide Varianten, Alter und Dauer Rentenbezug, nicht erfüllt. Die Beurteilung des kantonalen Gerichts ist im Übrigen nicht umstritten und gibt keinen Anlass zu Weiterungen. Es bleibt damit bei der Rechtmässigkeit der wiedererwägungsweisen Rentenaufhebung.
7. Die offensichtlich unbegründete Beschwerde ist, soweit auf sie eingetreten werden kann, im Verfahren nach Art. 109 Abs. 2 lit. a und Abs. 3 BGG abzuweisen.
8. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Das Gesuch um Gewährung der unentgeltlichen Rechtspflege (im Sinne der vorläufigen Befreiung von Gerichtskosten und der unentgeltlichen Verbeiständung) wird infolge Aussichtslosigkeit der Beschwerde abgewiesen (Art. 64 Abs. 1 und 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Uri, Verwaltungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Juli 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Lanz