Sachverhalt:
A. Gemäss Urteil des Eidgenössischen Versicherungsgerichts vom 13. Juni 2001 bezog der 1956 geborene B._ seit 1. April 1996 eine halbe Invalidenrente. Gestützt auf eine Expertise des Begutachtungsinstituts X._ vom 10. Juli 2002 hob die IV-Stelle des Kantons Zürich die halbe Rente mit Verfügung vom 30. Oktober 2003 auf Ende November 2003 auf. Mit Schreiben vom 10. November 2005 meldete sich der Versicherte unter Hinweis auf die Verschlechterung seines Gesundheitszustandes erneut zum Bezug einer Invalidenrente an. Nach Einholung verschiedener Arztberichte lehnte die IV-Stelle nach Durchführung des Vorbescheidverfahrens das Rentengesuch ab, weil seit der Aufhebung der Invalidenrente keine Verschlechterung des Gesundheitszustandes eingetreten sei (Verfügung vom 20. September 2006).
B. Die von B._ hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. März 2008 ab.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, unter Aufhebung des vorinstanzlichen Entscheides sei die Sache zu ergänzenden Abklärungen und neuer Entscheidung an das kantonale Gericht oder die Verwaltung zurückzuweisen; eventuell sei ihm ab November 2005 eine Viertelsrente der Invalidenversicherung zuzusprechen. Ferner ersucht er um die Bewilligung der unentgeltlichen Prozessführung.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2. Der Beschwerdeführer behauptet, die Rentenaufhebungsverfügung vom 30. Oktober 2003 nie erhalten zu haben, leitet aus diesem Umstand jedoch nichts zu seinen Gunsten ab. Vielmehr hat er in der Beschwerde an die Vorinstanz ausdrücklich die Richtigkeit des von der IV-Stelle in der erwähnten Verfügung für das Jahr 2003 ermittelten Invaliditätsgrades von 38 % anerkannt. Wie es sich mit der Zustellung der Verfügung vom 30. Oktober 2003 tatsächlich verhalten hat, braucht daher im vorliegenden Verfahren nicht geprüft zu werden.
3. Streitig ist, ob die Vorinstanz in Übereinstimmung mit der IV-Stelle zu Recht den vom Versicherten am 10. November 2005 im Rahmen einer Neuanmeldung geltend gemachten Anspruch auf eine Invalidenrente abgewiesen hat.
3.1 Das kantonale Gericht hat gemäss Art. 87 Abs. 4 in Verbindung mit Art. 87 Abs. 3 IVV, der hiezu ergangenen Rechtsprechung (<ref-ruling>) sowie aufgrund der nach der Neuanmeldung eingeholten Arztberichte (u.a. des Hausarztes Dr. med. K._ vom 22. November und 6. Dezember 2005 sowie die des Dr. med. S._, Klinik Y._, vom 29. März 2006) einen Rentenanspruch verneint, weil sich der Gesundheitszustand des Beschwerdeführers seit der Rentenaufhebung im Oktober 2003 nicht verschlimmert habe und ihm in einer angepassten Tätigkeit unverändert eine volle Arbeitsfähigkeit zumutbar wäre.
Der Versicherte wendet ein, die Vorinstanz habe den von ihm im kantonalen Verfahren eingereichten Untersuchungsbericht des Psychiaters Dr. med. W._ vom 24. April 2007 mit keinem Wort erwähnt. Dieser Arzt habe festgestellt, dass sich im Verlaufe der letzten Jahre zunehmend eine depressive Symptomatik entwickelt habe und zur Zeit eine schwere Depression vorliege.
3.2 Der Bericht des Psychiaters Dr. med. W._ datiert vom 24. April 2007 und basiert auf Untersuchungen vom 29. März und 24. April 2007. Obwohl der Bericht nach Erlass der Ablehnungsverfügung (vom 20. September 2006) erstattet wurde, welche die zeitliche Grenze für die richterliche Beurteilung bildet (<ref-ruling> E. 2.1 S. 140 mit Hinweisen), ist die psychiatrische Beurteilung im vorliegenden Fall in die Würdigung miteinzubeziehen. Denn Tatsachen, die sich erst später verwirklichen, sind insoweit zu berücksichtigen, als sie geeignet sind, die Beurteilung im Zeitpunkt des Verfügungserlasses zu beeinflussen (<ref-ruling> mit Hinweisen). Dies trifft auf die fachärztlichen Angaben des Dr. med. W._ zu, bezieht sich dieser doch nicht nur auf die Daten der Untersuchungen, sondern einen längeren, zehn Jahre umfassenden Zeitraum und die in dessen Verlauf aufgetretenen schweren Schmerzzustände.
3.3 Die Vorinstanz hat den Bericht des Dr. med. W._ vom 24. April 2007, welcher sich einlässlich zum psychischen Gesundheitszustand des Beschwerdeführers äussert, mit keinem Wort erwähnt und sich stattdessen lediglich mit den Arztberichten auseinandergesetzt, die zur somatischen Seite des Gesundheitsschadens Stellung nehmen. Damit hat sie den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt, dessen Bestandteil auch die Begründungspflicht bildet (<ref-ruling> E. 1a S. 181 mit Hinweisen). Zwar trifft es zu, dass der Hausarzt Dr. med. K._ nicht selber eine psychiatrische Diagnose mit Auswirkungen auf die Arbeitsfähigkeit gestellt hat (wozu er als Nicht-Psychiater auch nicht berufen wäre), doch hat er immerhin den Beschwerdeführer an einen Psychiater überwiesen. Indem das Sozialversicherungsgericht sich mit dem neu aufgelegten, einen wesentlichen Aspekt des Gesundheitsschadens beleuchtenden Beweismittel in keiner Weise befasst und damit zum psychiatrischen Befund keine Aussage gemacht hat, hat es überdies den rechtserheblichen Sachverhalt unvollständig festgestellt und dadurch eine Rechtsverletzung nach Art. 95 lit. a BGG begangen, weshalb das Bundesgericht nicht an die vorinstanzlichen Ausführungen tatsächlicher Natur gebunden ist. Da die Angaben des Psychiaters Dr. med. W._ keine abschliessende Beurteilung der Entwicklung des Gesundheitszustandes und des Grades der Arbeitsunfähigkeit erlauben, vielmehr weitere medizinische Abklärungen angezeigt sind, ist die Sache an die IV-Stelle zurückzuweisen. Diese wird die erforderlichen Sachverhaltsergänzungen vornehmen und gestützt auf deren Ergebnisse über den Rentenanspruch neu verfügen.
4. Dem Verfahrensausgang entsprechend sind die Gerichtskosten der unterliegenden IV-Stelle aufzuerlegen (Art. 66 Abs. 1 BGG). Das Gesuch um unentgeltliche Prozessfügung ist damit gegenstandlos. Die Beschwerdegegnerin hat dem obsiegenden Beschwerdeführer überdies eine Parteientschädigung zu bezahlen (Art. 68 Abs. 1 und 2 BGG).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde werden der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 3. März 2008 und die Verwaltungsverfügung vom 20. September 2006 aufgehoben. Die Sache wird an die IV-Stelle des Kantons Zürich zurückgewiesen, damit diese, nach erfolgter Abklärung im Sinne der Erwägungen, über den Rentenanspruch neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der IV-Stelle des Kantons Zürich auferlegt.
3. Die IV-Stelle des Kantons Zürich hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2000.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 23. September 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer