Sachverhalt:
A. Der 1946 geborene B._ bezog vom 1. Juli 1997 bis 30. September 1998 eine befristete ganze Rente der Invalidenversicherung. Auf erneute Anmeldung vom Juni 2000 hin sprach ihm die IV-Stelle Luzern mit Verfügung vom 1. Juni 2001 rückwirkend ab 1. Juni 1999 bei einem Invaliditätsgrad von 44 % eine Viertelsrente zu. Sie stützte sich dabei in medizinischer Hinsicht auf das Gutachten des medizinischen Begutachtungsinstituts X._ vom 17. Oktober 2000. Dieses erklärte aufgrund einer Pathologie im unteren Wirbelsäulenbereich die frühere Tätigkeit eines Maschinenführers als ungünstig und bestätigte für behinderungsgerechte Verrichtungen eine Restarbeitsfähigkeit von 80 %. Die Verfügung vom 1. Juni 2001 wurde mit rechtskräftigem Entscheid des Verwaltungsgerichts des Kantons Luzern vom 22. Oktober 2001 bestätigt.
Im Februar 2003 ersuchte B._ mit der Begründung, es sei eine gesundheitliche Verschlechterung eingetreten, um Erhöhung der Rente. Dies lehnte die IV-Stelle nach medizinischen Abklärungen mit Verfügung vom 11. Mai 2004 ab. Auf Einsprache hin holte die Verwaltung weitere Arztberichte, worunter das Gutachten des Dr. med. M._, Spezialarzt FMH für Physikalische Medizin und Rehabilitation, speziell Rheumaerkrankungen, vom 9. Juni 2006 (mit undatierter, am 26. September 2006 bei der Verwaltung eingegangener Korrektur), ein. Mit Entscheid vom 29. September 2006 wies die IV-Stelle die Einsprache mit der Begründung ab, es sei weder eine gesundheitliche Verschlechterung noch eine Änderung der erwerblichen Situation eingetreten.
B. B._ erhob Beschwerde mit dem Antrag auf Zusprechung einer ganzen Invalidenrente. Er machte eine Verletzung des rechtlichen Gehörs durch die Verwaltung geltend und erhob überdies materielle Einwände. Das Verwaltungsgericht des Kantons Luzern gewährte ihm die unentgeltliche Rechtspflege und wies die Beschwerde mit Entscheid vom 17. April 2008 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ die Aufhebung des kantonalen Entscheides beantragen.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
1.2 Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene kantonale Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht, Völkerrecht oder kantonale verfassungsmässige Rechte verletzt (Art. 95 lit. a-c BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Hingegen hat unter der Herrschaft des BGG eine freie Überprüfung des vorinstanzlichen Entscheids in tatsächlicher Hinsicht zu unterbleiben, ausser wenn sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung richtet (Art. 97 Abs. 2 BGG). Zur auch unter der Geltung des BGG massgebenden Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung wird auf BGE 132 V 393 verwiesen.
2. Die massgeblichen Bestimmungen und Grundsätze sind im angefochtenen Entscheid und im Einspracheentscheid, auf den die Vorinstanz verweist, zutreffend dargelegt. Es betrifft dies nebst dem Anspruch auf rechtliches Gehör (Art. 29 Abs. 2 BV; Art. 42 ATSG) den Invaliditätsbegriff (Art. 4 Abs. 1 IVG in Verbindung mit Art. 8 ATSG), den Rentenanspruch nach Massgabe des Invaliditätsgrades (Art. 28 Abs. 1 IVG in den vor und ab 2004 gültig gewesenen Fassungen), die Bestimmung des Invaliditätsgrades mittels Einkommensvergleich (Art. 16 ATSG), die revisionsweise Erhöhung, Herabsetzung oder Aufhebung der Rente bei erheblicher Änderung des Invaliditätsgrades (Art. 17 Abs. 1 ATSG; BGE 130 V 343 E. 3.5 S. 349 ff. mit Hinweisen) mit den dabei in zeitlicher Hinsicht zu vergleichenden Sachverhalten (BGE 133 V 108; vgl. auch BGE 130 V 64 E. 2 S. 66 mit Hinweis und 71 E. 3.1 S. 73 ff. mit Hinweisen) sowie die Anforderungen an beweiswertige ärztliche Berichte und Gutachten (BGE 125 V 351 E. 3a S. 352 mit Hinweis; vgl. auch BGE 134 V 231 E. 5.1 S. 232). Wie das kantonale Gericht ebenfalls zutreffend erwogen hat, sind die mit der 5. IV-Revision am 1. Januar 2008 in Kraft getretenen Rechtsänderungen intertemporalrechtlich nicht anwendbar.
3. Streitig und zu prüfen ist, ob im Zeitraum zwischen der auf Zusprechung einer Viertelsrente lautenden Verfügung vom 1. Juni 2001 und dem Einspracheentscheid vom 29. September 2006 eine erhebliche Änderung des Invaliditätsgrades eingetreten ist, welche eine revisionsweise Erhöhung der Rente rechtfertigt. Dabei steht letztinstanzlich einzig eine Änderung infolge wesentlicher Verschlechterung des Gesundheitszustandes zur Diskussion.
Das kantonale Gericht hat eine solche Verschlechterung verneint. Es stützt sich dabei auf das Gutachten des Dr. med. M._ vom 9. Juni 2006 (mit nachträglicher Korrektur). Danach ist gegenüber den Befunden, welche mit Expertise des medizinischen Begutachtungsinstituts X._ vom 17. Oktober 2000 erhoben und der Rentenverfügung vom 1. Juni 2001 zugrunde gelegt worden waren, aus orthopädisch-rheumatologischer wie auch aus radiologischer Sicht objektiv keine massive Änderung eingetreten. Dasselbe gilt gemäss Dr. med. M._ bezüglich der gegebenen Restarbeitsfähigkeit von 80 % in einer behinderungsangepassten Tätigkeit.
Der Beschwerdeführer beanstandet erneut, die Verwaltung habe seinen Anspruch auf rechtliches Gehör verletzt. Er äussert sich sodann zur Frage der erheblichen gesundheitlichen Verschlechterung, welche er bejaht.
4. Der Einwand betreffend Gehörsverletzung ist aufgrund seiner formellen Natur vorab zu prüfen. Ihm liegt zugrunde, dass die Verwaltung dem Beschwerdeführer im Einspracheverfahren die ihr am 26. September 2006 zugegangene Korrektur des Gutachtens des Dr. med. M._ nicht zur Kenntnis gebracht hat, womit ihm auch eine Stellungnahme verwehrt blieb.
4.1 Das kantonale Gericht ist zum Ergebnis gelangt, zwar liege eine Verletzung des rechtlichen Gehörs durch Nichtgewährung des Akteneinsichtsrechts vor. Diese werde aber im kantonalen Verfahren geheilt, zumal mit voller gerichtlicher Überprüfungsbefugnis zu entscheiden sei und sich der Beschwerdeführer habe äussern können. Die Heilung des Verfahrensmangels sei auch aus verfahrens- und prozessökonomischer Sicht angezeigt. Denn die Verwaltung würde kaum zu einem anderen Entscheid gelangen, nachdem sie vernehmlassungsweise die Abweisung der Beschwerde beantragt habe.
4.2 Diese Beurteilung ist im Lichte der Rechtsprechung (vgl. BGE 132 V 387 E. 5 S. 390 f. mit Hinweisen) nicht zu beanstanden. Daran vermögen sämtliche Vorbringen in der Beschwerde nichts zu ändern.
Dies betrifft auch den Einwand, es sei dem Versicherten verwehrt gewesen, dem Experten Ergänzungsfragen, konkret zur Aussage betreffend massive Veränderung zu stellen: Der Beschwerdeführer hat von der Verwaltung die Gelegenheit erhalten, zum Gutachten vom 9. Juni Stellung zu nehmen. Er hat davon am 15. September 2006 Gebrauch gemacht, ohne Ergänzungsfragen, etwa zu der im Gutachten enthaltenen Aussage betreffend massive Veränderung, zu stellen. Was sodann die am 26. September 2006 bei der Verwaltung eingegangene Korrektur des Gutachtens betrifft, gilt Folgendes: Der Experte korrigierte dabei lediglich die prozentualen Angaben zur Restarbeitsfähigkeit, wobei er zur Begründung Tippfehler im Originalgutachten angab. Zu dieser Korrektur konnte der Versicherte im kantonalen Verfahren Stellung nehmen. Es wird nicht geltend gemacht, dass die Korrektur noch Anlass für irgendwelche Ergänzungsfragen an den Experten gegeben hätte. Die vorinstanzliche Beurteilung, wonach das rechtliche Gehör geheilt worden sei, hält daher auch diesbezüglich stand.
5. Das kantonale Gericht hat eingehend begründet, weshalb es das Gutachten des Dr. med. M._ auch inhaltlich als verlässliche Grundlage für die Beurteilung der Frage einer gesundheitlichen Verschlechterung betrachtet.
Die Vorbringen in der Beschwerde vermögen nicht, diese Beurteilung als offensichtlich unrichtig oder in anderer Weise bundesrechtswidrig erscheinen zu lassen. Zwar trifft zu, dass Dr. med. M._ im Gutachten vom 9. Juni 2006 einerseits angibt, die Akten der IV-Stelle erhalten zu haben, sich aber anderseits nicht mit den der Verwaltung erstatteten Berichten der Frau Dr. med. W._, Rheumatologie FMH, auseinandersetzt. Die Vorinstanz hat indessen dargelegt, weshalb sie die Aussagen des Dr. med. M._ für überzeugender ansieht als diejenigen der Frau Dr. med. W._, soweit sich diese anders zu Gesundheitszustand und Restarbeitsfähigkeit äussert. Diese Beweiswürdigung ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden. Gleiches gilt, soweit das kantonale Gericht erwogen hat, die Ergebnisse der bildgebenden Untersuchungen, auf welche Dr. med. M._ und Frau Dr. med. W._ Bezug genommen haben, wiesen ebenfalls keine erheblichen Veränderungen aus. Es kann im Übrigen auf die Erwägungen im angefochtenen Entscheid verwiesen werden. Die Beschwerde ist damit in allen Teilen unbegründet.
6. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Luzern, Sozialversicherungsrechtliche Abteilung, der Ausgleichskasse Luzern und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Januar 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Leuzinger Lanz