Sachverhalt:
A. A.a Der 1956 geborene G._ war zuletzt von März 1988 bis 30. September 2001 in der X._ AG als Maurer angestellt. Der Vertrag wurde im Rahmen eines Abbaus der Belegschaft aufgelöst (Kündigungsschreiben X._ AG vom 14. Juni 2001). Seit dem 20. Juni 2001 war G._ bei Dr. med. J._, Spezialarzt FMH für Neurologie, in Behandlung; dieser schrieb ihn ab dem gleichen Tag bis auf Weiteres für die zuletzt ausgeübte Tätigkeit zu 100 % arbeitsunfähig. Unter Angabe von Rückenschmerzen mit Schmerzausstrahlung ins rechte Bein meldete sich G._ am 12. Juli 2002 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Bern klärte die medizinischen und wirtschaftlichen Verhältnisse ab. Insbesondere beauftragte sie die Neurochirurgin Dr. med. L._ und den Psychiater Dr. med. H._ mit der Erstattung eines interdisziplinären Gutachtens (vom 13. Mai bzw. 23. Mai 2003 [Eingangsdatum IV-Stelle]). Gestützt auf die Beurteilungen sprach die IV-Stelle dem Versicherten mit Verfügung vom 29. September 2003 ab dem 1. Juni 2002 eine halbe Invalidenrente zu (Invaliditätsgrad von 55 %), was sie mit Einspracheentscheid vom 17. Mai 2004 bestätigte. Die dagegen erhobene Beschwerde hiess das Verwaltungsgericht des Kantons Bern mit Entscheid IV 64631/234/2004 vom 16. November 2004 insofern gut, als es G._ ab 1. Januar 2004 eine Dreiviertelsrente zusprach (Invaliditätsgrad von 62 %).
A.b Im Rahmen eines im Juli 2008 eingeleiteten Revisionsverfahrens machte G._ eine Verschlechterung des Gesundheitszustandes seit dem 19. Oktober 2007 geltend. Die IV-Stelle veranlasste ein bidisziplinäres Gutachten der Dres. med. A._, Facharzt für Psychiatrie und Psychotherapie FMH (vom 2. Oktober 2009) und M._, Facharzt für Physikalische Medizin und Rehabilitation sowie Rheumatologie FMH (vom 27. Oktober 2009). Mit Vorbescheid vom 30. März 2010 stellte sie die Aufhebung der Rente in Aussicht (Invaliditätsgrad von 39 %). Sie begründete es damit, die bisherige Tätigkeit als Maurer sei dem Versicherten zwar nicht mehr möglich, hingegen bestehe in einer leidensangepassten Beschäftigung eine volle Arbeitsfähigkeit mit einer Leistungseinschränkung von 30 %. Mit Verfügung vom 26. August 2010 hob sie die Rente auf Ende September 2010 auf.
B. In teilweiser Gutheissung der Beschwerde sprach das Verwaltungsgericht des Kantons Bern G._ vom 1. Juli 2008 bis 31. Juli 2009 eine ganze Invalidenrente zu; es hob die Verfügung vom 26. August 2010 in diesem Umfang auf; im Übrigen wies es die Beschwerde ab.
C. G._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten; er beantragt Aufhebung des angefochtenen Entscheides und der Verfügung vom 26. August 2010; der Invaliditätsgrad sei auf mindestens 62 % zu belassen; eventualiter sei die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen.
Vorinstanz, IV-Stelle und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>).
1.2 Im Rahmen der Invaliditätsbemessung - namentlich bei der Ermittlung von Gesundheitsschaden, Arbeitsfähigkeit und Zumutbarkeitsprofil sowie bei der Festsetzung von Validen- und Invalideneinkommen - sind zwecks Abgrenzung der (für das Bundesgericht grundsätzlich verbindlichen) Tatsachenfeststellungen von den (letztinstanzlich frei überprüfbaren) Rechtsanwendungsakten der Vorinstanz weiterhin die kognitionsrechtlichen Grundsätze heranzuziehen, wie sie in <ref-ruling> E. 3 S. 397 ff. für die ab 1. Juli bis 31. Dezember 2006 gültig gewesene Fassung von Art. 132 des nunmehr aufgehobenen OG entwickelt wurden. Soweit die Beurteilung der Zumutbarkeit von Arbeitsleistungen auf die allgemeine Lebenserfahrung gestützt wird, geht es um eine Rechtsfrage; dazu gehören auch Folgerungen, die sich auf medizinische Empirie stützen (<ref-ruling> E. 1.2 S. 65 f. mit Hinweisen auf <ref-ruling>; SVR 2008 IV Nr. 8 S. 24, Urteil I 649/06 E. 3.2 am Ende).
1.3 Feststellungen der Vorinstanz hinsichtlich des Grades der Arbeitsunfähigkeit betreffen also, soweit sie auf der Würdigung konkreter Umstände beruhen, Tatfragen, und sind daher lediglich unter eingeschränktem Blickwinkel überprüfbar (<ref-ruling> E. 3.2 S. 397 f.). Bei der Bestimmung der für die Bemessung des Invaliditätsgrades massgebenden hypothetischen Einkommen ist als Rechtsfrage frei überprüfbar, ob sie auf der Grundlage statistischer Durchschnittslöhne zu ermitteln sind, und welches die massgebliche Tabelle ist (vgl. <ref-ruling> E. 3.3 S. 399). Frei überprüfbare Rechtsfrage ist auch die getroffene Wahl der massgeblichen Stufe (Anforderungsniveau 1+2, 3 oder 4) beim statistischen Lohnvergleich auf der Grundlage der Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) (SVR 2008 IV Nr. 4 S. 9 [Urteil I 732/06 vom 2. Mai 2007 E. 4.2.2]). Die Frage, ob ein leidensbedingter Abzug nach Massgabe der Grundsätze von <ref-ruling> vorzunehmen sei, ist rechtlicher Natur, die Bestimmung eines solchen Abzuges dagegen Ermessensfrage, die im Gegensatz zum früheren Recht (vgl. aArt. 104 lit. c OG) nicht zu prüfen ist (Art. 95 und 97 BGG). Gerügt werden kann die Höhe des Abzuges nur im Hinblick auf Ermessensüberschreitung oder -missbrauch als Formen rechtsfehlerhafter (<ref-law>) Ermessensbetätigung (<ref-ruling> E. 3.3 S. 399).
2. Die Vorinstanz hat die massgebenden Bestimmungen und die Rechtsprechung zur Invalidität erwerbstätiger Versicherter (<ref-law>, <ref-law>), zum Umfang des Rentenanspruchs (<ref-law>), zur Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> in Verbindung mit <ref-law>), zur revisionsweisen Anpassung der Invalidenrente nach <ref-law>, zur Aufgabe von Ärztinnen und Ärzten bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261) sowie zum Beweiswert medizinischer Berichte und Gutachten (<ref-ruling> E. 3a-c S. 352 ff.) zutreffend dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist, ob die Aufhebung auf Ende September 2010 der ab 1. Juni 2002 als halbe und ab 1. Januar 2004 als Dreiviertelsrente zugesprochenen Invalidenrente rechtmässig erfolgte. Umstritten geblieben sind medizinische Aspekte und wirtschaftliche Gesichtspunkte (letztere hinsichtlich der Festsetzung der Vergleichseinkommen sowie der Frage des leidensbedingten Abzugs und seiner Höhe). Die vorinstanzliche rückwirkende Zusprechung einer ganzen Rente für die Zeit vom 1. Juli 2008 bis 31. Juli 2009 ist nicht angefochten.
4. 4.1 Nach dem vorinstanzlichen Entscheid IV 64631/234/2004 vom 16. November 2004 war bei der Berechnung des Valideneinkommens vom Lohn auszugehen, den der Versicherte im Jahr des Rentenbeginns 2002 als Maurer erzielt hätte (E. 5.4). Im nun angefochtenen Entscheid änderte die gleiche Instanz die Berechnungsgrundlage. Sie bestimmte das Valideneinkommen neu auf der Basis eines LSE-Tabellenlohnes (Totalwert für Männer bei einfachen und repetitiven Tätigkeiten [Anforderungsniveau 4]) mit dem Argument, der Beschwerdeführer habe seinen Arbeitsplatz aus invaliditätsfremden Gründen verloren (E. 4.2.1).
4.2 Zwar ist die Änderung der Bemessungsfaktoren nicht aufgrund des Rechtskraftprinzips ausgeschlossen, denn formell rechtskräftig beurteilt werden nicht die einzelnen Teilaspekte der Rentenberechnung, sondern es wird über die Anspruchsberechtigung an sich entschieden; im Rechtsmittelverfahren wie auch bei einer Revision können daher die einzelnen Teilaspekte überprüft werden (<ref-ruling> E. 2d S. 417). Es bleibt aber vom Bundesgericht zu untersuchen, ob die von der Vorinstanz getroffene Wahl richtig ist. Soweit sie nicht auf konkreter Beweiswürdigung beruht, ist dies eine frei zu beurteilende Rechtsfrage (<ref-ruling> E. 3.3 S. 399; vorne E. 1.2 und 1.3).
4.3 Der Verlust der langjährigen Arbeitsstelle aus wirtschaftlichen Gründen fiel beim Beschwerdeführer zeitlich zusammen mit dem Eintritt der von allen Ärzten und Experten attestierten vollen Arbeitsunfähigkeit in der seit jeher angestammten Tätigkeit auf dem Bau. Nach der allgemeinen Lebenserfahrung wäre der beim Stellenverlust erst 45-jährige gelernte Maurer mit praktischer Sicherheit weiterhin in der Baubranche tätig geblieben; er hätte dort eine den erworbenen Fähigkeiten und Erfahrungen angepasste und überdurchschnittlich entlöhnte Arbeitsstelle ausgeübt. Die Vorinstanz blendet diesen Umstand aus, was Bundesrecht verletzt (E. 1.1).
4.4 Wie in der Beschwerde mit Recht vorgebracht wird, kann die Sichtweise der Vorinstanz, das Valideneinkommen bei nicht invaliditätsbedingtem Stellenverlust auf einer neuen Grundlage zu bemessen, vielfach zu stossenden Ergebnissen führen. Denn wenn der LSE-Tabellenlohn 2008 für das Baugewerbe (Fr. 5'602.-; Mann, Berufs- und Fachkenntnisse vorausgesetzt) von dem von der Vorinstanz beigezogenen Total aller Wirtschaftszweige (Fr. 4'806.-; Mann, einfache und repetitive Tätigkeiten) um 17 % nach oben abweicht, fällt dies bei dem von der Verwaltung attestierten Invaliditätsgrad von 39 % ebenso wie bei den von der Vorinstanz festgelegten 30 % entscheiderheblich ins Gewicht: Bei Berücksichtigung der genannten Tabellenlöhne und Annahme einer Arbeitsunfähigkeit von 30 % in einfachen Tätigkeiten resultiert ein rechtsprechungsgemäss auf 40 % aufzurundender Invaliditätsgrad (Fr. 5'602 ./. [Fr. 4'806.- x 0,7] = Fr. 2'237.80 Erwerbseinbusse = Invaliditätsgrad von 39,956 %). Ebenso verhält es sich, wenn der genannte LSE-Tabellenlohn 2008 für das Baugewerbe als Valideneinkommen beigezogen wird und mit dem von der Verwaltung berücksichtigten Invalideneinkommen verglichen wird: (12 x Fr. 5'602.- = Fr. 67'224.- ./. Fr. 39'886.- = Fr. 27'338.- Erwerbseinbusse = Invaliditätsgrad von 40,7 %). Es resultiert in beiden Fällen zumindest ein Anspruch auf eine Viertelsrente.
5. Es kommt hinzu, dass die Vorinstanz keinen behinderungsbedingten Abzug gewährt hat. Sie hat dies damit begründet, dass bei der von ihr getroffenen Wahl des gleichen LSE-Tabellenlohns für die Bestimmung der hypothetischen Vergleichseinkommen ohnehin die gleichen Merkmale auf beiden Seiten zu berücksichtigen wären.
5.1 Die Frage, ob ein leidensbedingter Abzug nach Massgabe der Grundsätze von <ref-ruling> vorzunehmen sei, ist rechtlicher Natur (vorne E. 1.3). Mit Entscheid IV 64631/234/2004 vom 16. November 2004 gewährte die Vorinstanz dem Beschwerdeführer noch einen leidensbedingten Abzug von 20 %, was sie damit begründete, der von der Verwaltung gewährte 10-prozentige Abzug erscheine angesichts des Umstandes, dass der Beschwerdeführer neben einer körperlichen auch eine psychisch bedingte Leistungseinschränkung erleide, als zu gering (E. 5.4 zweiter Absatz).
5.2 Ein Abzug hat dann zu erfolgen, wenn Anhaltspunkte dafür bestehen, dass die versicherte Person wegen eines oder mehrerer Merkmale (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie, Beschäftigungsgrad) ihre gesundheitlich bedingte (Rest-)Arbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann (<ref-ruling> E. 5b.aa S. 80). Weil der Beschwerdeführer seit jeher als Maurer schwere körperliche Arbeiten verrichtet hat und nur noch leichte Tätigkeiten ausführen kann, ist nach konstanter Rechtsprechung ein damit begründeter Abzug zu gewähren (<ref-ruling> E. 4.2.3 S. 481; Urteil 9C_617/2010 E. 4.2). Es kommen hier aber noch weitere Kriterien in Betracht. Die Verwaltung wird den Abzug entsprechend (höher) festzulegen haben.
6. Des Weiteren haben weder Verwaltung noch Vorinstanz die Frage der Wiedereingliederung nach langjährigem Rentenbezug erörtert.
6.1 Im Gebiet der Invalidenversicherung gilt ganz allgemein der Grundsatz, dass die invalide Person, bevor sie Leistungen verlangt, alles ihr Zumutbare selber vorzukehren hat, um die Folgen ihrer Invalidität bestmöglich zu mildern (<ref-ruling> E. 4a mit Hinweisen). Von den Versicherten können jedoch nur Vorkehren verlangt werden, die unter Berücksichtigung der gesamten objektiven und subjektiven Gegebenheiten des Einzelfalles zumutbar sind (<ref-ruling> E. 4a S. 28 mit Hinweisen auf Lehre und Rechtsprechung; ZAK 1989 S. 214 E. 1c). Die Wiedereingliederung von Versicherten im fortgeschrittenen Alter oder nach invaliditätsbedingt langjährigem Fernbleiben von der Arbeitswelt ist oftmals schwierig. Laut ständiger Rechtsprechung ist zwar im Regelfall eine medizinisch attestierte Verbesserung der Arbeitsfähigkeit grundsätzlich auf dem Weg der Selbsteingliederung zu verwerten. Nach langjährigem Rentenbezug können jedoch ausnahmsweise Erfordernisse des Arbeitsmarktes der Anrechnung einer medizinisch vorhandenen Leistungsfähigkeit und medizinisch möglichen Leistungsentfaltung entgegenstehen, wenn aus den Akten einwandfrei hervorgeht, dass die Verwertung eines bestimmten Leistungspotenzials ohne vorgängige Durchführung befähigender Massnahmen allein vermittels Eigenanstrengung der versicherten Person nicht möglich ist (Urteil 9C_163/2009 vom 10. September 2010 E. 4.1 und 4.2.2). Die Verwaltung muss sich vor der Herabsetzung oder Aufhebung einer Invalidenrente vergewissern, ob sich ein medizinisch-theoretisch wiedergewonnenes Leistungsvermögen ohne Weiteres in einem entsprechend tieferen Invaliditätsgrad niederschlägt oder ob dafür - ausnahmsweise - im Einzelfall eine erwerbsbezogene Abklärung (der Eignung, Belastungsfähigkeit usw.) und/oder die Durchführung von Eingliederungsmassnahmen im Rechtssinne vorausgesetzt ist (Urteil 9C_768/2009 vom 10. September 2010 E. 4.1.2). Wie das Bundesgericht mit Urteil 9C_228/2010 vom 26. April 2011 E. 3.3-3.5 entschieden hat, ist die Rechtsprechung 9C_163/2009 E. 4.2.2 grundsätzlich auf Fälle zu beschränken, in denen die revisions- oder wiedererwägungsweise Herabsetzung oder Aufhebung der Invalidenrente eine versicherte Person betrifft, welche das 55. Altersjahr zurückgelegt oder die Rente seit mehr als 15 Jahren bezogen hat.
6.2 Der Beschwerdeführer stand im Zeitpunkt der Rentenaufhebung im 55. Altersjahr und hatte über acht Jahre eine Rente bezogen. Trotz der medizinisch klar ausgewiesenen körperlichen Einschränkungen hat die Beschwerdegegnerin keine beruflichen Abklärungsmassnahmen und/oder Eingliederungsversuche ergriffen. Der Beschwerdeführer machte und macht diesen Mangel mit Recht geltend, wenn er z.B. die Evaluation der funktionellen Leistungsfähigkeit fordert. Er ist aufgrund des Alters zweifellos ein Grenzfall, dem die (zudem erfolgreiche) Selbsteingliederung schwerlich noch zumutbar ist. Es hätte eine erwerbsbezogene Abklärung erfolgen müssen, geht doch zumindest aus den Akten nicht hervor, dass dem Beschwerdeführer die Verwertung des gutachterlich zugesprochenen Leistungspotenzials ohne eine den Verhältnissen angepasste Durchführung befähigender Massnahmen möglich war.
7. Die Sache wird daher an die Beschwerdegegnerin zurückgewiesen, damit sie die erforderlichen Abklärungs- und Eingliederungsschritte treffe und nach ihrem Abschluss in Umsetzung der E. 4-6 über den Anspruch auf eine Invalidenrente ab 1. Oktober 2010 neu entscheide.
8. Die Gerichtskosten werden der Beschwerdegegnerin als unterliegender Partei auferlegt (<ref-law>). Sie hat dem Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen und der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 25. März 2011 sowie die Verfügung der IV-Stelle Bern vom 26. August 2010 - soweit den Zeitraum ab 1. Oktober 2010 betreffend - aufgehoben. Die Sache wird an die IV-Stelle Bern zurückgewiesen, damit sie nach Vorgehen im Sinne der Erwägungen über den Anspruch auf eine Invalidenrente neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. November 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Schmutz