Sachverhalt:
A. A.a Mit Wirkung ab 1. April 1991 setzte die Invalidenversicherungs-Kommission des Kantons Bern den Invaliditätsgrad des 1950 geborenen M._ auf 100 % fest und die Ausgleichskasse des Schweizerischen Baumeisterverbandes richtete eine ganze Invalidenrente nebst Zusatzrente für die Ehefrau und bis 30. Juni 1993 drei, ab 1. Juli 1993 zwei Kinderrenten aus.
A.b 1994 leitete die IV-Stelle Bern ein Revisionsverfahren ein. Mit Verfügung vom 16. Oktober 1996 hob sie die Invalidenrente mit Wirkung ab 30. November 1996 auf. Das Verwaltungsgericht des Kantons Bern hiess die dagegen erhobene Beschwerde mit Entscheid vom 9. Januar 1998 in dem Sinne gut, dass es die Verfügung vom 16. Oktober 1996 aufhob und die Sache zu ergänzenden Abklärungen an die Verwaltung zurückwies. Die IV-Stelle holte bei der MEDAS ein polydisziplinäres Gutachten (vom 4. Januar 1999) ein und sprach dem Versicherten ab 1. Dezember 1996 weiterhin eine ganze Invalidenrente nebst Zusatzrente für die Ehefrau und bis 31. Juli 1997 zwei, ab 1. August 1997 eine Kinderrente zu (Verfügung vom 23. Juli 1999).
A.c 2004 eröffnete die IV-Stelle Bern ein neues Revisionsverfahren; sie gab beim ärztlichen Begutachtungsinstitut X._ wiederum ein polydisziplinäres Gutachten (vom 2. Mai 2006) in Auftrag. Mit Verfügung vom 16. Juni 2006 und Einspracheentscheid vom 17. Juli 2007 hob sie die Invalidenrente auf Ende Juli 2006 auf.
B. Mit Entscheid vom 3. Juni 2008 wies das Verwaltungsgericht des Kantons Bern die dagegen erhobene Beschwerde ab.
C. M._ erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, es sei ihm über Ende Juli 2006 hinaus eine ganze Rente auszurichten; eventualiter sei die Sache zum Neuentscheid an die Verwaltung zurückzuweisen. Im Sinne eines zweiten Eventualantrages fordert er die Rückweisung der Sache an die Vorinstanz zur Durchführung einer öffentlichen Instruktionsverhandlung; ferner ersucht er um Gewährung der aufschiebenden Wirkung.
Die IV-Stelle beantragt Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf Vernehmlassung.
D. Mit Verfügung vom 19. August 2008 hat der Instruktionsrichter des Bundesgerichts das Gesuch um Gewährung der aufschiebenden Wirkung abgewiesen.
E. Das Bundesgericht hat am 18. Dezember 2008 eine publikumsöffentliche Beratung durchgeführt.

Erwägungen:
1. 1.1 Nach Art. 6 Ziff. 1 EMRK hat jede Person ein Recht darauf, dass (u.a.) über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren, öffentlich und innerhalb angemessener Frist verhandelt wird.
1.2 Der Grundsatz der Öffentlichkeit der Gerichtsverhandlung, wie er in Art. 6 Ziff. 1 EMRK statuiert ist, bedeutet eine Absage an jede Form geheimer Kabinettsjustiz. Durch die Anwesenheit der Öffentlichkeit an der Gerichtsverhandlung soll dem Angeklagten und den am Prozess Beteiligten eine korrekte und gesetzmässige Behandlung gewährleistet werden. Darüber hinaus soll der allgemeinen Öffentlichkeit ermöglicht werden, Kenntnis davon zu erhalten, wie das Recht verwaltet und die Rechtspflege ausgeführt wird; sie soll die Prozesse unmittelbar verfolgen und dadurch eine Kontrollfunktion wahrnehmen können. Demgemäss bezieht sich der Öffentlichkeitsgrundsatz sowohl auf die Parteiöffentlichkeit als auch auf die Publikums- und Presseöffentlichkeit (<ref-ruling> E. 3b S. 7, 119 V 375 E. 4b/bb S. 380, 119 Ia 99 E. 4a S. 104 mit weiteren Hinweisen). Hingegen beinhaltet der Öffentlichkeitsgrundsatz keinen Anspruch darauf, dass bestimmte Beweismittel öffentlich und in Anwesenheit der Parteien abgenommen werden (<ref-ruling> E. 7a S. 331). Die Durchführung einer öffentlichen Verhandlung setzt daher im Sozialversicherungsprozess einen - im erstinstanzlichen Verfahren zu stellenden - Parteiantrag voraus, aus dem klar und unmissverständlich hervorgehen muss, dass eine konventionskonforme Verhandlung mit Publikums- und Presseanwesenheit durchgeführt werden soll. Wird lediglich eine persönliche Anhörung oder Befragung, ein Parteiverhör, eine Zeugeneinvernahme oder die Durchführung eines Augenscheins verlangt, darf das Gericht daraus schliessen, dass es dem Antragsteller um die Abnahme bestimmter Beweismittel und nicht um die Durchführung einer Verhandlung mit Publikums- und Presseanwesenheit geht (<ref-ruling> E. 3a S. 55).
1.3 Der Beschwerdeführer rügt, das kantonale Gericht sei dem Antrag auf Durchführung einer öffentlichen Instruktionsverhandlung (mit Durchführung eines Parteiverhörs, der Anhörung der behandelnden Ärztin und der Gutachter sowie der Befragung eines allenfalls beigezogenen Gerichtsexperten) nicht gefolgt. Damit brachte er jedoch klar zum Ausdruck, dass die beantragte öffentliche Verhandlung der mündlichen Beweisabnahme - Partei-, Zeugen- und Sachverständigenbefragung - und nicht der von Art. 6 Ziff. 1 EMRK geschützten Kontrolle sowie Transparenz der Rechtsfindung durch Anwesenheit von Publikum und Presse an einer Gerichtsverhandlung dienen sollte. Nach dem in E. 1.2 Ausgeführten hat das kantonale Gericht dem Antrag auf Durchführung einer öffentlichen Gerichtsverhandlung zu Recht nicht stattgegeben.
1.4 Damit, dass die Vorinstanz zu diesem Antrag weder im Rahmen einer prozessleitenden Verfügung noch im angefochtenen Endentscheid Stellung genommen hat, hat sie zwar den beschwerdeführerischen Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV) verletzt; von einer Rückweisung der Sache zur Heilung des Mangels ist jedoch abzusehen, weil dies nach dem eben Dargelegten zu einem formalistischen Leerlauf und unnötigen Verzögerungen führen würde; durch die materielle Beurteilung der gerügten Konventionsverletzung im bundesgerichtlichen Verfahren kann die vorinstanzliche Verletzung des rechtlichen Gehörs als geheilt gelten.
2. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Hingegen hat unter der Herrschaft des BGG eine freie Überprüfung des vorinstanzlichen Entscheides in tatsächlicher Hinsicht zu unterbleiben (ausser in den Fällen von Art. 97 Abs. 2 BGG). Ebenso entfällt eine Prüfung der Ermessensbetätigung nach den Grundsätzen zur Angemessenheitskontrolle (<ref-ruling> E. 6 S. 81 hinsichtlich der früheren Regelung nach Art. 132 lit. a OG).
3. Streitig ist, ob der Beschwerdeführer unter revisionsrechtlichen Gesichtspunkten (Art. 17 Abs. 1 ATSG) ab 1. August 2006 weiterhin Anspruch auf eine (ganze) Invalidenrente hat (Art. 28 Abs. 1 IVG in der bis 31. Dezember 2007 gültig gewesenen Fassung). Das kantonale Gericht hat die zur Beurteilung des Leistungsanspruches massgebenden Rechtsgrundlagen zutreffend dargelegt. Ebenso sind im angefochtenen Entscheid die Voraussetzungen, die erfüllt sein müssen, damit beim Vorliegen einer fachärztlich diagnostizierten anhaltenden somatoformen Schmerzstörung invalidisierende Auswirkungen auf die Arbeitsfähigkeit der versicherten Person bejaht werden können, richtig wiedergegeben (<ref-ruling> E. 2.2.3 S. 353 f., 131 V 49 E. 1.2 S. 50). Darauf wird verwiesen.
4. Die revisionsrechtlich massgebenden Vergleichszeitpunkte sind durch die Verfügung vom 23. Juli 1999, mit welcher der Anspruch auf eine ganze Invalidenrente bestätigt wurde, und durch den diesen aufhebenden Einspracheentscheid vom 17. Juli 2007 festgelegt.
4.1 In medizinischer Hinsicht lag der Verfügung das MEDAS-Gutachten vom 4. Januar 1999 zugrunde, welches diagnostisch im Wesentlichen das folgende Krankheitsbild festhielt: Somatoforme Schmerzstörung seit 1989 mit unilateraler Panalgesie und Hemihypästhesie links ("nicht den anatomisch-physiologischen Gegebenheiten entsprechend"), neurotischer Entwicklung ("psychogene, interpersonelle und soziale Faktoren") und depressivem Verstimmungszustand ("aktuell"); Wirbelsäulen-Fehlhaltung/-Fehlform mit Hohl-Rundrücken und Kopfprotraktion sowie muskulärer Dysbalance.
Der psychiatrische Experte der MEDAS, Dr. med. F._, Facharzt FMH für Psychiatrie und Psychotherapie, hielt im Konsiliargutachten vom 17. November 1998 fest, die Arbeitsfähigkeit werde in erster Linie durch eine seit neun Jahren anhaltende neurotische Entwicklung limitiert, welche durch psychogene Faktoren, interpersonelle Beziehungsmuster und soziale Faktoren beeinflusst werde und beim Versicherten auf unbewusster Ebene abgelaufen sei. Inzwischen sei diese Entwicklung chronifiziert und weder psychotherapeutisch noch psychopharmakologisch beeinflussbar.
Insgesamt schätzten die MEDAS-Gutachter die Arbeitsfähigkeit für eine leichte, wechselbelastende körperliche Tätigkeit auf "25 % der Norm", wobei sich vor allem die psychiatrischen Begebenheiten, weniger die rheumatologischen, limitierend auswirken würden.
4.2 Der Einspracheentscheid beruht auf dem Gutachten des ärztlichen Begutachtungsinstituts X._ vom 2. Mai 2006, in welchem die Experten zu folgenden diagnostischen Schlüssen gelangten: Chronisches zervikal sowie lumbal betontes panvertebrales Schmerzsyndrom (ICD-10 M53.8) bei deutlicher Wirbelsäulenfehlform, Fehlhaltung (deutliche Hyperkyphose der Brustwirbelsäule, Hyperlordose der Wirbelsäule), allgemeiner Haltungsinsuffizienz bei deutlicher muskulärer Dysbalance mit Abschwächung der abdominellen und rückenstabilisierenden Muskelgruppen und reaktiver Myogelose im Bereich der subokzipitalen und Trapeziusmuskulatur wie auch lumbal paravertebral; anhaltende somatoforme Schmerzstörung (ICD-10 F45.4); leichte depressive Verstimmung (ICD-10 F32.0).
Aufgrund der psychiatrischen Untersuchung am 1. Februar 2006 kam der Gutachter des ärztlichen Begutachtungsinstituts X._, Dr. med. H._, Facharzt FMH für Psychiatrie und Psychotherapie, zum Schluss, die MEDAS-Experten hätten den Versicherten deutlich depressiver beurteilt, als dies jetzt festgestellt werden müsse. Zwischen der depressiven Symptomatik und der Schmerzstörung bestehe ein circulus vitiosus. Die Schmerzen würden durch die depressive Symptomatik verstärkt, und diese verhindere die Bewältigung der Schmerzproblematik.
Bei der Beurteilung der Arbeitsfähigkeit hält das Gutachten des ärztlichen Begutachtungsinstituts X._ fest, aus rheumatologischer Sicht könne dem Versicherten eine körperlich leichte bis gelegentlich mittelschwere berufliche Tätigkeit in Wechselbelastung zu 100 % zugemutet werden. Hingegen sei er aufgrund der depressiven Symptomatik und der Schmerzproblematik in seiner Leistungsfähigkeit in sämtlichen Tätigkeiten zu 20 % eingeschränkt.
4.3 Gestützt auf diese Angaben des ärztlichen Begutachtungsinstituts X._ hat die Vorinstanz einen Revisionsgrund im Sinne von Art. 17 ATSG angenommen. Sie hat festgestellt, in somatischer Hinsicht sei keine massgebliche Veränderung eingetreten, aber das psychische Beschwerdebild habe sich insofern verändert, als nun keine neurotische Entwicklung mehr vorliege, welche im Zeitpunkt der MEDAS-Begutachtung die Arbeitsfähigkeit massgeblich beeinträchtigt habe.
5. Entscheidend ist, ob die in E. 4.3 erwähnten zwei vorinstanzlichen Feststellungen offensichtlich unrichtig sind. Sind sie es nicht, sind sie für das Bundesgericht verbindlich (E. 2).
Entgegen der beschwerdeführerischen Rüge erfüllt das Gutachten des ärztlichen Begutachtungsinstituts X._ die von der Rechtsprechung (<ref-ruling> E. 3a S. 352 mit Hinweisen) gestellten Anforderungen. Dass es sich mit der im psychiatrischen MEDAS-Teilgutachten im Jahre 1998 diagnostizierten neurotischen Fehlentwicklung nicht auseinandersetzt, lässt in diesem Punkt nicht auf eine Unvollständigkeit schliessen. Wenn ein Gutachter einen Exploranden untersucht, kann er grundsätzlich nur zuverlässig beurteilen, was in diesem Zeitpunkt da ist (und was nicht). Wenn im Gutachten des ärztlichen Begutachtungsinstituts X._ nicht erörtert ist, dass die von der MEDAS noch dokumentierte neurotische Entwicklung dahingefallen sei, kann daraus nur gefolgert werden, dass diese Diagnose in der Zwischenzeit nicht mehr gestellt werden kann. Es findet sich in den Akten denn auch nirgends ein Hinweis darauf, dass die neurotische Entwicklung noch besteht. Wenn darum die Gutachter des ärztlichen Begutachtungsinstituts X._ abschliessend ausdrücklich bestätigen, dass sich der medizinische Zustand verbessert hat, ist die vorinstanzliche Feststellung, die neurotische Entwicklung bestehe nicht mehr, nicht offensichtlich unrichtig, ebenso wenig der daraus gezogene Schluss, der Gesundheitszustand habe sich bezogen auf den massgebenden Revisionszeitpunkt vom 17. Juli 2007 so erheblich verbessert, dass der Beschwerdeführer in der Lage sei, wieder einer erwerblichen Tätigkeit in rentenausschliessendem Umfang nachzugehen. Beide Feststellungen sind darum für das Bundesgericht verbindlich.
6. Wenn der Beschwerdeführer rügt, es rechtfertige sich der volle leidensbedingte Abzug von 25 %, bleibt darauf hinzuweisen, dass die Frage, ob ein Abzug nach Massgabe der Grundsätze von <ref-ruling> vorzunehmen sei, rechtlicher Natur ist, die Bestimmung eines solchen Abzuges dagegen Ermessensfrage, die im Gegensatz zum früheren Recht (vgl. Art. 104 lit. c OG) nicht zu prüfen ist (Art. 95 und 97 BGG). Gerügt werden kann die Höhe des Abzuges nur im Hinblick auf Ermessensüberschreitung oder -missbrauch als Formen rechtsfehlerhafter (Art. 95 lit. a BGG) Ermessensbetätigung (<ref-ruling> E. 3.3 S. 399). Damit, dass die Vorinstanz beim Invalideneinkommen zur bereits eingeschränkten Arbeitsfähigkeit von 80 % nur einen Leidensabzug von 10 % gewährt hat, hat sie ihr Ermessen jedoch nicht rechtsfehlerhaft ausgeübt.
Selbst unter Berücksichtigung des in der Beschwerde angenommenen Valideneinkommens von Fr. 65'000.- für einen Bauarbeiter im Alter des Beschwerdeführers ergibt sich bei einem 10 %-Abzug lediglich ein nicht mehr Anspruch auf eine Rente begründender Invaliditätsgrad von 37 % ([Tabellenlohn gemäss vorinstanzlichem Entscheid =] Fr. 4'588.- : 40 x 41,6 x 12 x 0.8 x 0,9 : 650 - 100 = 36,57 %).
7. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, der Ausgleichskasse des Kantons Bern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 18. Dezember 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz