Sachverhalt:
A. Mit Verfügung vom 12. Juni 2003 sprach die IV-Stelle Uri dem 1963 geborenen G._ eine ganze Rente der Invalidenversicherung ab 1. August 2002 samt Zusatzrente für seine Ehefrau zu. In der Begründung wurde festgehalten, berufliche Massnahmen würden nach einer angemessenen Stabilisierungsphase anlässlich der Revision im Mai 2003 erneut geprüft werden. Mit Mitteilungen vom 28. August 2003, 19. September 2004 sowie vom 1. Mai 2006, dies als Ergebnis des im Januar 2006 eingeleiteten ersten Revisionsverfahrens, bestätigte die IV-Stelle mangels festgestellter Änderung bei der Überprüfung des Invaliditätsgrades die Rente.
Im März 2008 leitete die IV-Stelle ein weiteres Revisionsverfahren ein. Unter Bestreitung der Notwendigkeit und Geeignetheit der Massnahme trat G._ am 9. November 2009 in die Berufliche Abklärungsstelle (BEFAS), ein, wo bis 1. Dezember 2009 Eingliederungs- und Arbeitsfähigkeit abgeklärt wurden. Am 31. März 2010 sprach die IV Stelle G._ Integrationsmassnahmen in Form eines Belastbarkeitstrainings vom 20. April bis 16. Juli 2010 zu. Im ärztlichen Zeugnis vom 21. April 2010 teilte der behandelnde Rheumatologe Dr. med. S._ mit, die Massnahme sei dem Versicherten unter Berücksichtigung des Hin- und Rückweges nicht zumutbar. Mit Schreiben vom 29. April 2010 forderte die IV-Stelle den Versicherten unter Hinweis auf die Einschätzung der BEFAS sowie die Beurteilung des regionalen ärztlichen Dienstes (RAD) auf, das Belastbarkeitstraining wieder aufzunehmen, andernfalls die gesetzlich vorgesehenen Sanktionen greifen könnten. Am 30. April 2010 erliess die IV-Stelle eine Verfügung betreffend die Übernahme des Belastbarkeitstrainings vom 20. April bis 16. Juli 2010. Mit einer weiteren Verfügung vom 20. Mai 2010 hob sie nach Durchführung des Vorbescheidverfahrens die Rente auf Ende des folgenden Monats auf.
B. G._ liess gegen das Schreiben vom 29. April 2010 sowie gegen die Verfügungen vom 30. April 2010 und 20. Mai 2010 Beschwerde erheben und zur Hauptsache deren Aufhebung beantragen. Im Laufe des Verfahrens liess er mehrere ärztliche Berichte einreichen.
Mit Entscheid vom 18. März 2011 trat das Obergericht des Kantons Uri, Verwaltungsrechtliche Abteilung, auf die Beschwerde betreffend Integrationsmassnahmen nicht ein (Dispositiv-Ziffer 2) und wies die Beschwerde betreffend die Rentenaufhebung ab (Dispositiv-Ziffer 3), ebenso das Gesuch um unentgeltliche Rechtspflege (Dispositiv-Ziffer 4). Die amtlichen Kosten zulasten des Versicherten setzte es auf Fr. 1'310.- (Fr. 750.- [Spruchgebühr] + Fr. 560.- [Schreibgebühr und Barauslagen]) fest (Dispositiv-Ziffer 5).
C. G._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 18. März 2011 sei aufzuheben und ihm zusätzlich für das vorinstanzliche Verfahren, mindestens teilweise, und für das Verfahren vor Bundesgericht die unentgeltliche Rechtspflege zu gewähren.
Die IV-Stelle beantragt die Abweisung der Beschwerde, soweit damit die Weiterausrichtung der ganzen Rente ab 1. Juli 2010 beantragt werde. Kantonales Gericht und Bundesamt für Sozialversicherungen haben auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Im Streite liegt die Aufhebung der ganzen Rente auf Ende Juni 2010 resp. der Anspruch auf eine Invalidenrente ab 1. Juli 2010.
2. Im angefochtenen Entscheid werden die gesetzlichen Bestimmungen sowie die dazugehörige Rechtsprechung zur Revision einer Rente im Sinne der Anpassung an geänderte Verhältnisse (<ref-law>) sowie zur prozessualen Revision (<ref-law>) und zur Wiedererwägung einer rechtskräftigen Verfügung (<ref-law>) richtig wiedergegeben. Darauf wird verwiesen.
3. Die Vorinstanz hat festgestellt, die IV-Stelle habe sich in ihrer Eingabe vom 31. Januar 2011 nicht auf einen Revisionsgrund im Sinne von <ref-law> oder <ref-law> berufen, sondern betont, die Rente wiedererwägungsweise aufzuheben. In der Folge hat sie die Voraussetzungen für eine Wiedererwägung der Verfügung vom 12. Juni 2003 nach <ref-law> geprüft und bejaht. Die Zusprechung einer ganzen Rente sei erfolgt, obschon bereits Dr. med. U._ im Arztbericht vom 10. Oktober 2002 den Beschwerdeführer als zu 50 % arbeitsfähig beurteilt habe. Gemäss dem Bericht der BEFAS vom 7. Januar 2010 sodann bestehe in leidensangepassten Tätigkeiten eine Gesamtleistungsfähigkeit von 70 %, die ergonomischen Vorgaben inbegriffen. Diese Einschätzung sei nachvollziehbar. Auch der RAD-Bericht vom 2. Dezember 2008 halte fest, der Versicherte sei ganztags abklärungsfähig. Da die Aufhebung einer ganzen Rente zweifellos eine Berichtigung von erheblicher Bedeutung darstelle, seien beide Wiedererwägungsvoraussetzungen gegeben und daher die Beschwerde abzuweisen.
4. 4.1 Die IV-Stelle hob die ganze Rente gestützt auf <ref-law> auf, wie sich klar und unmissverständlich aus der Verfügung vom 20. Mai 2010 ergibt. Die Vorinstanz bestätigte somit diesen Verwaltungsakt mit der substituierten Begründung der zweifellosen Unrichtigkeit der ursprünglichen Rentenzusprechung und der erheblichen Bedeutung deren Berichtigung. Nach der Rechtsprechung hätte sie somit dem Beschwerdeführer vorgängig Gelegenheit zur Stellungnahme geben müssen (<ref-ruling>). Ob dieser Mangel im Verfahren vor Bundesgericht geheilt werden kann, ist in Anbetracht der eingeschränkten Kognition in tatsächlicher Hinsicht (<ref-law> sowie Art. 105 Abs. 1 und 2 BGG) fraglich (<ref-ruling> E. 4c S. 371). Dieser Punkt kann indessen offen bleiben.
4. 4.1 Die IV-Stelle hob die ganze Rente gestützt auf <ref-law> auf, wie sich klar und unmissverständlich aus der Verfügung vom 20. Mai 2010 ergibt. Die Vorinstanz bestätigte somit diesen Verwaltungsakt mit der substituierten Begründung der zweifellosen Unrichtigkeit der ursprünglichen Rentenzusprechung und der erheblichen Bedeutung deren Berichtigung. Nach der Rechtsprechung hätte sie somit dem Beschwerdeführer vorgängig Gelegenheit zur Stellungnahme geben müssen (<ref-ruling>). Ob dieser Mangel im Verfahren vor Bundesgericht geheilt werden kann, ist in Anbetracht der eingeschränkten Kognition in tatsächlicher Hinsicht (<ref-law> sowie Art. 105 Abs. 1 und 2 BGG) fraglich (<ref-ruling> E. 4c S. 371). Dieser Punkt kann indessen offen bleiben.
4.2 4.2.1 Im Feststellungsblatt vom 21. November 2002 wurde unter anderem festgehalten, die berufliche Abklärung sei zu früh erfolgt und habe keinen anhaltenden Erfolg gebracht. Gemäss Abklärungsstelle seien berufliche Massnahmen nicht zumutbar; eventuell sollte eine praktische Einarbeitung erfolgen. Dem Versicherten sei eine Psychotherapie empfohlen worden. Im Bericht vom 10. Oktober 2002 gehe Dr. med. U._ nach wie vor von einer vollen Arbeitsunfähigkeit aus, wobei Arbeitsversuche möglich seien und mittelfristig eine 50%ige langfristig evtl. auch eine höhere Arbeitsfähigkeit resultieren sollte. Der IV-Arzt halte für eine Rentenzusprache und erneute Prüfung mit entsprechenden Abklärungen anlässlich einer baldigen Revision. Eine Zusprache könne zu einer Entspannung der Situation führen. Im Vorbescheid vom 12. Dezember 2002 und in der Verfügung vom 12. Juni 2003 wurde darauf hingewiesen, berufliche Massnahmen würden nach einer angemessenen Stabilisierungsphase anlässlich der Revision im Mai 2003 erneut geprüft.
4.2.2 Daraus ist zu schliessen, dass die Zusprechung der ganzen Rente unter der Annahme einer gesundheitlich bedingten Eingliederungsunfähigkeit erfolgte, was grundsätzlich nicht zweifellos unrichtig war (<ref-ruling> E. 4a S. 191). Insbesondere kann nicht gesagt werden, die IV-Stelle habe eine nicht abschliessende Aktenlage für die Rentenzusprechung genügen lassen, was eingehenderen Abklärungen zu einem späteren Zeitpunkt und allenfalls neuer Verfügung über den Anspruch, ohne dass die Voraussetzungen nach <ref-law> gegeben sein müssten, nicht zwingend entgegenstände (vgl. Urteil 9C_342/2008 vom 20. November 2008 E. 3.2, nicht publiziert in: <ref-ruling>, aber in: SVR 2009 IV Nr. 20 S. 52).
Gemäss den Akten war am 12. Dezember 2001 eine Dynesisimplantation transpedikulär zur semigriden Stabilisation des Segmentes L4/5 durchgeführt worden. Der Verlauf war ungünstig, indem zum Teil in das linke Bein ausstrahlende Schmerzen persistierten. Die behandelnden Ärzte äusserten den Verdacht, die Beschwerden seien implantatbedingt. Am 24. Juli 2003 wurde das Implantat entfernt (Austrittsbericht Schulthess Klinik vom 28. Juli 2003 sowie Berichte Dr. med. U._, Orthopädische Chirurgie FMH, vom 10. Oktober 2002 und 2. März 2004). Dieser hatte im Übrigen im Bericht vom 10. Oktober 2002 lediglich davon gesprochen, dass prognostisch mittelfristig mit einer Arbeitsfähigkeit von 50 % gerechnet werden könne, wie in der Beschwerde richtig vorgebracht wird. Unter diesen Umständen kann die der ursprünglichen Rentenzusprechung zugrunde liegende Annahme einer gesundheitlich bedingten Eingliederungsunfähigkeit nicht als zweifellos unrichtig im wiedererwägungsrechtlichen Sinne bezeichnet werden. Somit fällt eine Rentenaufhebung in Wiedererwägung der ursprünglichen Verfügung vom 12. Juni 2003 ausser Betracht.
5. Die Vorinstanz hat ohne einlässliche Prüfung einen Revisionsgrund (insbesondere Wiedererlangung der Eingliederungsfähigkeit) nach <ref-law> verneint (vorne E. 3). Die Akten sind insoweit nicht spruchreif. Die Beurteilungen des BEFAS-Arztes, des RAD-Arztes sowie des Hausarztes beruhen nicht auf eigenen Untersuchungen und/oder die betreffenden Ärzte sind keine Wirbelsäulenspezialisten, wie der Beschwerdeführer richtig vorbringt. Es fehlt somit an einer vorliegend unabdingbaren unabhängigen umfassenden fachärztlichen Einschätzung der gesundheitlichen Situation und der Arbeitsfähigkeit. Die IV-Stelle wird ein Gutachten orthopädischer und rheumatologischer, allenfalls auch psychiatrischer Richtung einzuholen haben. Gestützt darauf und nach allfälligen weiteren Abklärungen wird sie über die Eingliederungsfähigkeit und den Anspruch auf eine Rente ab 1. Juli 2010 neu verfügen.
6. Bei diesem Ausgang des Verfahrens hat die IV-Stelle die Gerichtskosten zu tragen (<ref-law>) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (<ref-law>). Dessen Gesuch um unentgeltliche Rechtspflege ist demzufolge gegenstandslos.
7. Dem Ergebnis des letztinstanzlichen Verfahrens entsprechend gilt der Beschwerdeführer als voll obsiegende Partei vor Vorinstanz. Er hat somit im vorangegangenen Verfahren keine Gerichtskosten zu tragen und Anspruch auf eine volle Parteientschädigung (BGE 9C_592/2010 E. 2.1 und 2.2). Auf seine Rügen betreffend die Höhe der ihm vorinstanzlich auferlegten Gerichtskosten und das abgewiesene Gesuch um unentgeltliche Rechtspflege braucht daher nicht eingegangen zu werden.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Obergerichts des Kantons Uri, Verwaltungsrechtliche Abteilung, vom 18. März 2011 und die Verfügung der IV-Stelle Uri vom 20. Mai 2010 werden aufgehoben. Die Sache wird an die Verwaltung zurückgewiesen damit sie, nach Abklärungen im Sinne der Erwägungen, über den Anspruch des Beschwerdeführers auf eine Rente der Invalidenversicherung ab 1. Juli 2010 neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle Uri auferlegt.
3. Die IV-Stelle Uri hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Das Obergericht des Kantons Uri hat die Gerichtskosten und die Parteientschädigung für das vorangegangene Verfahren neu festzusetzen.
5. Dieses Urteil wird den Parteien, dem Obergericht des Kantons Uri und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Juni 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler