Sachverhalt:
A. Der 1970 geborene M._ meldete sich Ende September 1996 bei der Invalidenversicherung zum Leistungsbezug an. Nachdem ihm verschiedene Umschulungsmassnahmen zugesprochen worden waren, welche letztlich erfolglos blieben, und nach Abklärung von Gesundheitszustand, Arbeits- und Eingliederungsfähigkeit durch das ABI (Ärztliches Begutachtungsinstitut; Expertise vom 30. Oktober 2003) lehnte die IV-Stelle des Kantons Graubünden mit Verfügung vom 7. Juli 2004 das Gesuch um Wiederaufnahme der abgebrochenen Ausbildung zum soziokulturellen Animator an der Hochschule X._ aufgrund eines nicht anspruchsbegründenden Invaliditätsgrades von 16 % ab. Mit Verfügung vom 8. Juli 2004 verneinte sie auch den Anspruch auf eine Invalidenrente, woran sie mit Einspracheentscheid vom 23. März 2005 festhielt. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 14. September 2005 ab. Mit Urteil I 931/05 vom 21. August 2006 hob das Eidg. Versicherungsgericht dieses Erkenntnis und den Einspracheentscheid auf und wies die Sache an die IV-Stelle zurück, damit sie im Sinne von Erwägung 3.2 verfahre.
Am 19. Oktober und 16. November 2007 wurde M._ durch das IIMB (Institut für Interdisziplinäre Medizinische Begutachtungen) untersucht (Expertise vom 20. Januar 2008 mit Ergänzung vom 11. Juni 2009). Der Regionale Ärztliche Dienst nahm am 16. Juni 2009 eine Abschlussbeurteilung vor. Nach durchgeführtem Vorbescheidverfahren sprach die IV-Stelle dem Versicherten mit Verfügungen vom 13. April und 6. August 2010 für die Zeit vom 1. September 2004 bis 29. Februar 2008 eine ganze Rente und ab 1. März 2008 eine halbe Rente der Invalidenversicherung zu.
B. Die gegen alle drei Verfügungen erhobenen Beschwerden des M._ wies das Verwaltungsgericht des Kantons Graubünden nach Vereinigung der Verfahren und zweifachem Schriftenwechsel mit Entscheid vom 11. Januar 2011 ab, soweit darauf eingetreten werden konnte.
C. M._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der Entscheid vom 11. Januar 2011 und die Verfügungen vom 13. April und 6. August 2010 seien aufzuheben und ihm ab 1. Oktober 1997 mindestens eine halbe und ab 1. September 2004 bis auf Weiteres eine ganze Invalidenrente zuzusprechen; eventualiter sei die Sache zu weiteren Abklärungen an die IV-Stelle zurückzuweisen.

Erwägungen:
1. 1.1 In Erwägung 3.2 des Urteils I 931/05 vom 21. August 2006 stellte das Eidg. Versicherungsgericht fest, aufgrund der Akten könne eine wesentliche und dauernde Verschlechterung des Gesundheitszustandes für die Zeit nach dem ABI-Gutachten vom 30. Oktober 2003, spätestens seit Mitte 2004 mit Auswirkungen auf die Arbeitsfähigkeit nicht rechtsgenüglich ausgeschlossen werden. Die IV-Stelle werde entsprechende Abklärungen vorzunehmen haben und danach über den Anspruch auf eine Invalidenrente, allenfalls Umschulung neu verfügen. Mindestens bis zum Zeitpunkt des Gutachtens sei jedoch ein Rentenanspruch zu verneinen. Dispositiv-Ziffer 1 wies die Sache an die IV-Stelle zurück, damit sie im Sinne von E. 3.2 verfahre.
1.2 Das Urteil I 931/05 vom 21. August 2006 erwuchs mit seiner Ausfällung in Rechtskraft (Art. 38 aOG). Kraft Verweisung in Dispositiv-Ziffer 1 war das in E. 3.2 Gesagte für die IV-Stelle und im Anfechtungsfalle für die Beschwerdeinstanz und auch das Bundesgericht grundsätzlich verbindlich (<ref-ruling> E. 1a S. 237; Urteile 9C_703/2009 vom 30. Oktober 2009 E. 2.2 und 9C_522/2007 vom 17. Juni 2008 E. 3.1; vgl. auch <ref-ruling>). Diese Bindungswirkung stand unter dem Vorbehalt, dass im wieder aufzunehmenden Abklärungsverfahren (Art. 43 und Art. 61 lit. c ATSG) keine erheblichen neuen Tatsachen entdeckt oder Beweismittel aufgefunden werden, deren Beibringung zuvor nicht möglich war (vgl. Art. 53 Abs. 1 und Art. 61 lit. i ATSG; Ulrich Meyer, in: Basler Kommentar Bundesgerichtsgesetz, Basel 2008, Rz. 18 zu <ref-law>).
2. Die Vorinstanz hat in Bezug auf die grundsätzlich verbindliche Feststellung in E. 3.2 des Urteils I 931/05 vom 21. August 2006, dass mindestens bis zum Zeitpunkt des ABI-Gutachtens vom 30. Oktober 2003 kein Rentenanspruch bestanden habe, einen prozessualen Revisionstatbestand im Sinne von <ref-law> verneint, was der Beschwerdeführer bestreitet:
2.1 Die Gutachter des IIMB hätten erstmals festgestellt, dass er seit ca. 1994 auch unter einem radikulären Reizsyndrom leide. Die Gutachter des ABI hätten dies übersehen, weil sie keine bildgebende Untersuchung durchgeführt hätten.
Die Vorinstanz hat festgestellt, eine zeitliche Einordnung des radikulären Reizsyndroms sei schwierig, da das IIMB-Gutachten insofern keine eindeutigen Angaben enthalte. Der Beschwerdeführer legt nicht dar, inwiefern diese Feststellung offensichtlich unrichtig ist (Art. 105 Abs. 1 und 2 BGG). Zu beachten ist sodann, dass den Gutachtern des ABI ein CT und ein MRI der LWS vom 20. Januar und 3. Februar 1998 vorgelegen hatten. Daraus ergaben sich keine Hinweise für eine Tangierung neuraler Strukturen. Aufgrund des sehr diskreten klinischen Befundes verzichteten sie daher auf die Anfertigung neuer Röntgenbilder. Es wurde aus orthopädischer Sicht ein chronisches Lumbovertebralsyndrom ohne radikuläre Beteiligung diagnostiziert. Bei dieser Sachlage sind von Abklärungen zur Frage, ob spätestens im Zeitpunkt der Untersuchung durch das ABI im August 2003 ein radikuläres Reizsyndrom bestand und die Arbeitsfähigkeit einschränkte, keine neuen verwertbaren Erkenntnisse zu erwarten und es ist daher davon abzusehen. Die Folgen dieser Beweislosigkeit gehen zu Lasten des Beschwerdeführers (<ref-law>; <ref-ruling> E. 3b S. 264; Urteil 9C_482/2010 vom 21. September 2010 E. 6.2).
2.2 Sodann treffe nicht zu, dass die vom IIMB rückwirkend per 2003 festgestellte Arbeitsunfähigkeit von 20 % auf die Adipositas zurückzuführen sei. Das Übergewicht stelle nur einen begünstigenden Faktor dar. Ursache seien die organisch nachweisbaren Rückenschmerzen.
Die Vorinstanz hat festgestellt, das IIMB hätte die Arbeitsfähigkeit in adaptierter Tätigkeit im Zeitpunkt der ABI-Begutachtung ebenfalls auf 100 % bemessen, wenn nicht die zusätzliche Diagnose der ausgeprägten Adipositas vorgelegen hätte. Mit seinen Vorbringen vermag der Beschwerdeführer nicht darzutun, inwiefern diese Feststellung offensichtlich unrichtig ist. Abgesehen davon lässt er unerwähnt, dass die Gutachter des IIMB auch festhielten, der Explorand wäre aus somatischer Sicht aufgrund der Rückenschmerzen in einer leichten Tätigkeit mit Wechselbelastung und Heben von Lasten von weniger als 10 kg sehr wohl noch arbeitsfähig gewesen und auch aktuell noch arbeitsfähig. Eine solche Arbeitsfähigkeit werde aber durch die zusätzliche Diagnose der Adipositas beeinträchtigt. Solange der Explorand derart übergewichtig sei, werde er weiterhin seine chronischen Rückenschmerzen aufweisen. Die Adipositas sei ein verschlimmender Faktor, welcher das chronische Schmerzsyndrom weiterhin unterhalte. Es kommt dazu, dass ein Schmerzsyndrom nicht notwendigerweise eine Arbeitsunfähigkeit zur Folge haben muss. Da nicht im Sinne überwiegender Wahrscheinlichkeit erstellt ist, dass bereits im Zeitpunkt des ABI-Gutachtens vom 30. Oktober 2003 ein die Arbeitsfähigkeit einschränkendes radikuläres Reizsyndrom bestand, könnte die im IIMB-Gutachten vom 20. Januar 2008 restrospektiv auf 20 % veranschlagte Arbeitsunfähigkeit ohnehin bloss als andere, nicht auf einem prozessual revisionsrechtlich erheblich unterschiedlichen Sachverhalt beruhende Beurteilung betrachtet werden.
Der Rentenanspruch bleibt somit bis Ende Oktober 2003 rechtskräftig beurteilt.
3. Für die Zeit ab 1. November 2003 verhält es sich wie bei einer Neuanmeldung nach Verweigerung einer Rente wegen eines zu geringen Invaliditätsgrades im Sinne von <ref-law> mit dem Unterschied, dass eine Verschlechterung des Gesundheitszustandes als glaubhaft gemacht zu gelten hat (vorne E. 1.1; <ref-law>).
3.1 Die Vorinstanz hat in Würdigung der beiden Administrativgutachten vom 30. Oktober 2003 und 20. Januar 2008 eine Verschlechterung des Gesundheitszustandes mit Auswirkungen auf die Arbeitsfähigkeit bis 31. August 2004 verneint. Was der Beschwerdeführer dagegen vorbringt, ist mit Blick auf das in E. 2 hievor Gesagte nicht stichhaltig. Insbesondere legt er nicht dar, inwiefern die vorinstanzliche Beweiswürdigung unhaltbar sein soll (Urteil 9C_1061/2009 vom 11. März 2010 E. 4.1).
Die ganze Rente für die Zeit vom 1. September 2004 bis 29. Februar 2008 ist nicht streitig und daher nicht zu prüfen (<ref-law>).
3.2 Für die Zeit ab 1. März 2008 bestand nach unbestrittener Feststellung der Vorinstanz aufgrund des IIMB-Gutachtens vom 20. Januar 2008 eine Arbeitsfähigkeit von 50 % als Folge einer Verschlechterung insbesondere des psychischen Gesundheitszustandes. Der Beschwerdeführer bringt insoweit richtig vor, dass in Bezug auf die Ermittlung des Invaliditätsgrades keine Bindung an den gemäss E. 3.2 des Urteils I 931/05 vom 21. August 2006 für die Zeit bis Ende Oktober 2003 nicht zu beanstandenden Einkommensvergleich im ersten Entscheid der Vorinstanz vom 14. September 2005 besteht (Urteil 9C_1059/2009 vom 4. August 2010 E. 2 mit Hinweis).
Die Vorinstanz hat nicht selber einen Invaliditätsgrad ermittelt, sondern auf den Einkommensvergleich der IV-Stelle verwiesen, welcher nicht zu beanstanden sei. Die Verwaltung hatte beide Vergleichseinkommen ohne und mit Behinderung auf der Grundlage der Schweizerischen Lohnstrukturerhebung 2008 des Bundesamtes für Statistik (LSE 08) ausgehend vom selben Tabellenlohn (Fr. 4'806.- [Privater Sektor/Total, Männer, Anforderungsniveau des Arbeitsplatzes 4 [einfache und repetitive Tätigkeiten]; vgl. <ref-ruling>) bestimmt. Es resultierte ein Invaliditätsgrad von 58 % ([1 - 0,5 x 0,85] x 100 %; SVR 2008 IV Nr. 2 S. 3, I 697/05 E. 5.4; zum Runden <ref-ruling>), was Anspruch auf eine halbe Invalidenrente gibt (<ref-law>).
3.2.1 Das Valideneinkommen bestimmt sich danach, was die versicherte Person nach dem Beweisgrad der überwiegenden Wahrscheinlichkeit als Gesunde im Zeitpunkt des frühestmöglichen Rentenbeginns (<ref-ruling>) resp. der Erhöhung oder Herabsetzung der Rente im Falle einer Revision (<ref-law>) tatsächlich verdient hätte. Dabei ist in der Regel am zuletzt vor Eintritt der Gesundheitsschädigung im angestammten Bereich erzielten Lohn anzuknüpfen. Ausnahmen müssen mit überwiegender Wahrscheinlichkeit erstellt sein (<ref-ruling> E. 4.1 S. 325; SVR 2009 IV Nr. 28 S. 79, 8C_576/2008 E. 6.2; Urteil 9C_882/2010 vom 25. Januar 2011 E. 7.2.1).
3.2.1.1 Der Beschwerdeführer ist gelernter Metallbauschlosser. Nach Abschluss der Lehre ... arbeitete er rund zweieinhalb Jahre auf diesem Beruf, davon eineinhalb Jahre als Schlosser und Schweisser in B._. Gemäss seinen Angaben war er auch für mehrere NGO im Ausland tätig. Dazwischen sei er immer wieder auf Reisen gewesen. Er würde auch ohne die 1996 eingetretene gesundheitliche Beeinträchtigung heute nicht mehr als Metallbauschlosser arbeiten. Vielmehr wäre er überwiegend wahrscheinlich als "Sozialarbeiter mit handwerklichem Hintergrund" wie etwa Entwicklungshelfer für eine NGO oder eine staatliche Hilfsorganisation, Betreuer für Behinderte oder Jugendliche oder in einer Werkstätte einer Anstalt, in einem Zentrum für Asylbewerber oder in einem anderen vergleichbaren Umfeld tätig. Aufgrund der erfolgreich abgeschlossenen Berufslehre, mehrjähriger Berufserfahrung, dem manifesten Interesse an einer beruflichen Orientierung im Gesundheits- oder Sozialwesen sei die Hypothese der IV-Stelle eines beruflichen Abstiegs in dem Sinne, dass beim Valideneinkommen nicht vom Anforderungsniveau des Arbeitsplatzes 3 ("Berufs- und Fachkenntnisse vorausgesetzt") ausgegangen werde, sondern vom Anforderungsniveau 4 ("einfache und repetitive Tätigkeiten"), nicht nachvollziehbar.
3.2.1.2 Aus dem Umstand, dass der Beschwerdeführer nach dem Lehrabschluss nicht mehr regelmässig gearbeitet hatte, kann nicht geschlossen werden, er wäre auf Dauer lediglich unregelmässig und nur soweit und solange einem Erwerb nachgegangen, um Reisen finanzieren zu können, und noch weniger, er hätte - nach einer entsprechenden Ausbildung - eine Tätigkeit ausgeübt, mit welcher er bedeutend weniger verdient hätte als im Beruf als Metallbauschlosser. Da jeder erlernte Beruf auch nach einer allfälligen Aufgabe Bestandteil der Ausbildung bleibt, über welche die versicherte Person sich ausweisen kann (Urteil des Eidg. Versicherungsgerichts I 144/05 vom 13. Mai 2005 E. 2.2.1) und Metallbauschlosser mit abgeschlossener Lehre zu den Arbeitnehmern mit Berufs- und Fachkenntnissen im Sinne der LSE zu zählen sind, rechtfertigt es sich, beim Valideneinkommen vom entsprechenden Anforderungsniveau 3 auszugehen (vgl. auch ULRICH MEYER, Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht, Bundesgesetz über die Invalidenversicherung [IVG], 2. Aufl. 2010, S. 321).
3.2.2 Das Invalideneinkommen entspricht dem Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte (<ref-law> in Verbindung mit <ref-law>).
3.2.2.1 Im Verfahren I 931/05 war u.a. streitig, ob der Versicherte die Umschulung zum soziokulturellen Animator an der HSA ... invaliditätsbedingt abgebrochen hatte oder nicht. Die Vorinstanz hatte die Frage verneint, was das Eidg. Versicherungsgericht in E. 3.1 des Urteils vom 21. August 2006 bestätigte. Die vorzeitige Beendigung der Umschulung zum soziokulturellen Animator betrifft einen zeitlich abgeschlossenen, späteren Änderungen der Tatsachenlage nicht zugänglichen Sachverhalt. Es kann offenbleiben, ob damit die Frage, ob der Versicherte diese Ausbildung invaliditätsbedingt abgebrochen hatte oder nicht, auch für die Zeit ab 1. November 2003 als rechtskräftig entschieden zu gelten hat (vgl. <ref-ruling> E. 3.1 S. 373 f.). Der Beschwerdeführer bringt diesbezüglich einzig vor, gemäss dem Gutachten des IIMB vom 20. Januar 2008 würden die Rückenschmerzen auch anstrengendere geistige Arbeiten verunmöglichen. Damit allein vermag er jedoch das in E. 3.1 des Urteils I 931/05 vom 21. August 2006 Gesagte, das nach wie vor Gültigkeit hat, nicht in Frage zu stellen, zumal nach nicht offensichtlich unrichtiger Feststellung der Vorinstanz das IIMB die Arbeitsfähigkeit in adaptierter Tätigkeit im Zeitpunkt der ABI-Begutachtung im Oktober 2003 ebenfalls auf 100 % bemessen hätte, wenn nicht die zusätzliche Diagnose einer - damals mangels eines psychischen Leidens von Krankheitswert nicht als gesundheitlich bedingt anzusehenden - ausgeprägten Adipositas vorgelegen hätte (vorne E. 2.2).
3.2.2.2 Unter der Annahme einer erfolgreichen Umschulung zum soziokulturellen Animator und in Berücksichtigung der erfolgreich abgeschlossenen Lehre als Metallbauschlosser mit Berufserfahrung ist daher beim Invalideneinkommen ebenfalls vom Anforderungsniveau 3 auszugehen. Da der Beschwerdeführer nach seinen eigenen Angaben auch ohne gesundheitliche Beeinträchtigung im Gesundheits- oder Sozialwesen tätig wäre (vorne E. 3.2.1.1), ist somit bei beiden Vergleichseinkommen entweder vom durchschnittlichen Bruttolohn insgesamt ("Total") oder im betreffenden selben Wirtschaftszweig auszugehen (LSE 08 S. 26). So oder anders ergibt sich bei im Übrigen unveränderten Bemessungsfaktoren ein Invaliditätsgrad von 58 % (vorne E. 3.2 Ingress, in fine).
Der vorinstanzliche Entscheid verletzt somit kein Bundesrecht. Die Beschwerde ist unbegründet.
4. Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden, der Ausgleichskasse Promea und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. April 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Fessler