Sachverhalt:
A. Der 1958 geborene H._ ist gelernter Strassenbauer und übte verschiedene Tätigkeiten, unter anderem die eines Gemeindearbeiters, eines LKW-Chauffeurs, eines Lagerchefs und eines Bad-/Eismeisters, aus. Nachdem ihm wegen eines - mehrfach operierten - Rückenleidens bereits berufliche Massnahmen der Invalidenversicherung gewährt worden waren, meldete er sich im Februar 2003 bei der IV-Stelle des Kantons Solothurn zum Rentenbezug an. Die IV-Stelle sprach ihm mit Verfügung vom 6. April 2004 rückwirkend ab 1. August 2003 eine ganze Invalidenrente zu. Am 19. April 2004 verfügte sie eine ganze Rente auch für den Zeitraum vom 1. Januar bis 31. Juli 2003. Im Rahmen des im April 2005 eingeleiteten Rentenrevisionsverfahrens holte die IV-Stelle einen Verlaufsbericht des Dr. med. R._, Allgemeine Medizin FMH, vom 9. August 2005 und ein rheumatologisches Gutachten des Dr. med. L._ vom 14. August 2006 ein. Die Aussagen des Experten veranlassten sie, die Rechtmässigkeit der erfolgten Rentenzusprechung ab 1. August 2003 zu überprüfen. Mit Verfügung vom 7. September 2007 eröffnete die IV-Stelle dem Versicherten nach Durchführung des Vorbescheidverfahrens, die Verfügung vom 6. April 2004 werde wiedererwägungsweise aufgehoben; die damals ab 1. August 2003 zugesprochene Invalidenrente werde auf das Ende des der Zustellung der Wiedererwägungsverfügung folgenden Monats aufgehoben; eine Rückforderung bereits erbrachter Rentenleistungen erfolge nicht. Zur Begründung wurde angegeben, die Verfügung vom 6. April 2004 sei offensichtlich unrichtig.
B. Die von H._ gegen die Verfügung vom 7. September 2007 erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 27. November 2008 ab.
C. H._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheids und der Verfügung vom 7. September 2007 sei auch über den Zeitpunkt der Renteneinstellung gemäss besagter Verfügung hinaus eine Rente nach Massgabe eines Invaliditätsgrades von mindestens 70 % zuzusprechen. Weiter wird um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Streitig und zu prüfen ist, ob die IV-Stelle die mit Verfügung vom 6. April 2004 ab 1. August 2003 zugesprochene Invalidenrente zu Recht auf den in der Verfügung vom 7. September 2007 genannten Zeitpunkt hin aufgehoben hat.
Wie die Vorinstanz richtig erkannt hat, sind die mit der 5. IV-Revision auf den 1. Januar 2008 in Kraft getretenen Rechtsänderungen intertemporalrechtlich nicht anwendbar. Im angefochtenen Entscheid sind sodann die Bestimmungen über den Invaliditätsbegriff (<ref-law>; <ref-law>), die Regelung des Rentenanspruchs nach Massgabe des Invaliditätsgrades (<ref-law> in den bis Ende 2003 sowie von Anfang 2004 bis Ende 2007 gültig gewesenen Fassungen; <ref-law>, in Kraft gestanden bis Ende 2003) und die Wiedererwägung rechtskräftiger Verfügungen und Einspracheentscheide (<ref-law>) mit der dazu ergangenen Rechtsprechung zutreffend dargelegt. Gleiches gilt für die Grundsätze über die Aufgabe des Arztes bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 99 f. mit Hinweisen) und über die Würdigung von Beweisen, insbesondere auch von Berichten und Gutachten versicherungsinterner und -externer Ärzte (<ref-ruling> E. 3 S. 352 ff.). Darauf wird verwiesen.
3. Gemäss <ref-law> kann der Versicherungsträger auf formell rechtskräftige Verfügungen oder Einspracheentscheide zurückkommen, wenn diese zweifellos unrichtig sind und wenn ihre Berichtigung von erheblicher Bedeutung ist.
3.1 Das kantonale Gericht ist zum Ergebnis gelangt, die Verfügung vom 6. April 2004 beruhe auf ungenügenden medizinischen Unterlagen, welche für die streitigen Belange (Arbeitsfähigkeit in der angestammten Tätigkeit und für Verweistätigkeiten) nicht umfassend seien. Damit werde auch gegen das Gebot der rechtsgleichen Behandlung der Versicherten verstossen. Die Verfügung sei daher zweifellos unrichtig.
Diese Beurteilung beruht auf einer sorgfältigen und zutreffenden Würdigung der Akten. Hervorzuheben ist, dass die damals vorhanden gewesenen Angaben zur Restarbeitsfähigkeit differieren. Während Dr. med. R._, Facharzt FMH Allgemeine Medizin, am 1. September 2003 und Dr. med. E._, Klinik X._, am 25. September 2003 für einen vorgesehenen Arbeitsversuch eine 50 %ige Arbeitsfähigkeit bestätigten, erwähnte der IV-Berufsberater im Abschlussbericht vom 28. Oktober 2003, ab 22. Oktober 2003 habe wieder eine volle Arbeitsunfähigkeit bestanden. Es findet sich jedoch keine ärztliche Bestätigung dieser Verschlechterung bei den Akten und die IV-Stelle verzichtete auch auf vom Berufsberater empfohlene medizinischen Abklärungen. Einzig der RAD-Arzt nahm am 23. Dezember 2003 kurz Stellung. Seinen Aussagen lassen sich aber keine weiteren Erkenntnisse zum medizinischen Sachverhalt entnehmen. Der RAD-Arzt empfahl jedoch, es sei lediglich eine befristete Rente zuzusprechen. Das wiederum setzte die IV-Stelle in Bezug auf die ab 1. August 2003 zugesprochene Rente nicht um. Abgesehen von diesen widersprüchlichen Gesichtspunkten fehlt es, wie das kantonale Gericht zutreffend erkannt hat, auch an ärztlichen Angaben zur IV-rechtlich entscheidenden Frage der Arbeitsfähigkeit in Verweistätigkeiten (<ref-law>). Die Zusprechung einer Rente war daher insoweit gesetzwidrig und die ursprüngliche Verfügung zweifellos unrichtig (vgl. Urteil 9C_848/2007 vom 27. Juni 2008 E. 4).
3.2 Die Berichtigung der Verfügung ist sodann, wie die Vorinstanz ebenfalls richtig erwogen hat, von erheblicher Bedeutung, geht es doch um eine periodische Dauerleistung (vgl. <ref-ruling> E. 1 S. 480 mit Hinweisen; in <ref-ruling> nicht veröffentlichte E. 5.3 des Urteils SVR 2009 IV Nr. 20 S. 52 [9C_342/2008]). Die Verfügung vom 6. April 2004 wurde daher zu Recht wiedererwägungsweise aufgehoben. Daran vermögen sämtliche Einwände in der Beschwerde nichts zu ändern.
3.3 Das kantonale Gericht hat sodann geprüft, ob die nach der Verfügung vom 6. April 2004 erstatteten ärztlichen Berichte und Gutachten eine - in den erwerblichen Auswirkungen invalidisierende - Arbeitsunfähigkeit zu begründen vermöchten. Es ist zum Ergebnis gelangt, Entsprechendes lasse sich weder aus dem Verlaufsbericht des Dr. med. R._ vom 9. August 2005 noch aus dem Gutachten des Dr. med. L._ vom 14. August 2006 oder aus dem Bericht des Dr. med. M._, Kantonsspital Y._, vom 3. April 2008 herleiten. Aus diesen ärztlichen Stellungnahmen ergebe sich keine erhebliche Verschlechterung der Rückenproblematik bis zum Erlass der streitigen Wiedererwägungsverfügung vom 7. September 2007. Soweit seit dieser Verfügung eine erhebliche gesundheitliche Verschlechterung eingetreten wäre, hätte der Beschwerdeführer dies mittels Neuanmeldung geltend zu machen.
Bevor ein allenfalls später entstandener Rentenanspruch zu prüfen ist, muss indessen feststehen, ob nicht bereits im Zeitpunkt der Rentenverfügung vom 6. April 2006 bei einer rechtlich korrekten Sachverhaltsabklärung weiterhin, d.h. auch ab 1. August 2003, eine Rente - und bejahendenfalls welche Rente - zuzusprechen gewesen wäre (vgl. erwähntes Urteil 9C_848/2007 E. 5). Dabei ist mit dem kantonalen Gericht davon auszugehen, dass nebst den anderen medizinischen Akten auch das Gutachten des Dr. med. L._ vom 14. August 2006 nicht gestattet, die Arbeitsfähigkeit im damaligen Zeitpunkt zu beurteilen. Es kann aber, entgegen dem offenbaren Verständnis der Vorinstanz, auch in antizipierter Beweiswürdigung nicht geschlossen werden, dass weitere medizinische Abklärungen keinen entscheidrelevanten neuen Aufschluss zu bringen vermöchten. Die Sache ist daher an die IV-Stelle zurückzuweisen, damit sie diese Abklärungen treffe und anschliessend über den Rentenanspruch ab 1. August 2003 neu verfüge.
4. Da der angefochtene Entscheid aufgrund des Gesagten aufzuheben und die Sache zur neuen Prüfung des Leistungsanspruchs zurückzuweisen ist, erübrigen sich Weiterungen zu der vom Versicherten erhobenen Rüge, das kantonale Gericht habe in Verletzung von Art. 6 Ziff. 1 EMRK auf die Durchführung einer öffentlichen Verhandlung verzichtet und dies auch ungenügend begründet.
5. Die Rückweisung der Sache an die Verwaltung zu weiterer Abklärung und neuer Verfügung gilt praxisgemäss als volles Obsiegen der Beschwerde führenden Partei im Sinne von Art. 66 Abs. 1 sowie Art. 68 Abs. 1 und 2 BGG (<ref-ruling> E. 6.1 S. 235; Urteil 8C_305/2008 vom 7. Mai 2009 E. 5 mit weiterem Hinweis). Demnach hat die IV-Stelle die Gerichtskosten zu tragen und dem Versicherten eine Parteientschädigung zu entrichten. Das Gesuch um unentgeltliche Rechtspflege ist damit gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird in dem Sinne gutgeheissen, dass der Entscheid des Versicherungsgerichts des Kantons Solothurn vom 27. November 2008 und die Verfügung der IV-Stelle des Kantons Solothurn vom 7. September 2007 aufgehoben werden und die Sache an die IV-Stelle des Kantons Solothurn zurückgewiesen wird, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Rentenanspruch ab 1. August 2003 neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Solothurn zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 17. Juni 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz