Sachverhalt:
A. Der 1973 geborene A._ bezog für die wirtschaftlichen Folgen eines am 1. Januar 1995 erlittenen Verkehrsunfalls, bei dem er sich verschiedene Frakturen und andere Verletzungen zugezogen hatte, gemäss Verfügung der IV-Stelle des Kantons Zürich vom 19. August 1998 ab 1. Januar 1996 bei einem Invaliditätsgrad von 80 % eine ganze Rente der Invalidenversicherung. Im Rahmen einer im Mai 1999 von Amtes wegen eingeleiteten Rentenrevision zog die IV-Stelle Arztberichte bei und veranlasste eine polydisziplinäre Begutachtung in der Medizinischen Abklärungsstelle (MEDAS); Expertise vom 16. August 2001), worauf sie die ganze Invalidenrente ab 1. Mai 2003 aufgrund eines Invaliditätsgrades von 48 % auf eine Viertelsrente herabsetzte (Verfügung vom 25. März 2003). Auf Einsprache hin hob die IV-Stelle die Viertelsrente mit Entscheid vom 26. April 2004 rückwirkend auf den 1. Mai 2003 auf. Mit Urteil vom 6. April 2006 (I 858/05) bestätigte das Eidgenössische Versicherungsgericht letztinstanzlich die Rentenaufhebung.
Bereits mit Schreiben vom 5. Dezember 2005 war A._ wiederum an die IV-Stelle gelangt und hatte für den Fall, dass seine zu jenem Zeitpunkt noch beim Eidgenössischen Versicherungsgericht hängige Verwaltungsgerichtsbeschwerde abgewiesen werde, unter Beilage eines Berichts der Psychiaterin Frau Dr. med. R._, erneut um Zusprechung einer Invalidenrente ersucht. Die IV-Stelle holte weiter Berichte der Frau Dr. med. R._ sowie des Dr. med. M._ vom 9. August 2006 ein. Ferner zog sie den Bericht des Kreisarztes der Schweizerischen Unfalllversicherungsanstalt (SUVA), Dr. med. O._, vom 26. Januar 2006 bei. Mangels relevanter Verschlechterung des Gesundheitszustandes seit Aufhebung der Invalidenrente lehnte sie das Leistungsgesuch nach durchgeführtem Vorbescheidvefahren am 2. April 2007 verfügungsweise ab.
B. Die von A._ hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 17. September 2008 ab.
C. A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides sei ihm eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zu weiteren medizischen Abklärungen und neuer Verfügung an die IV-Stelle zurückzuweisen.
Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Im angefochtenen Entscheid sind die Bestimmungen über den Begriff der Invalidität (<ref-law> in Verbindung mit <ref-law>: SR 830.1) sowie die Rechtsprechung zu der aufgrund eines psychischen Gesundheitsschadens bewirkten Invalidität (<ref-ruling> E. 1.2 S. 50 mit Hinweisen), den Umfang des Rentenanspruchs (<ref-law> in der bis 31. Dezember 2003 und in der vom 1. Januar 2004 bis 31. Dezember 2007 gültig gewesenen Fassung) sowie die Neuanmeldung zum Rentenbezug (<ref-law> in Verbindung mit <ref-law>) richtig wiedergegeben. Darauf wird verwiesen.
3. Nachdem die Verwaltung auf die Neuanmeldung eingetreten ist, hat die Vorinstanz zu Recht nur geprüft, ob seit Erlass des Einspracheentscheides vom 26. April 2004, mit welchem die IV-Stelle die Invalidenrente aufgehoben hatte, bis zum Datum der vorliegend streitigen Verfügung vom 2. April 2007 eine wesentliche Verschlimmerung im Gesundheitszustand des Versicherten eingetreten ist und wiederum ein rentenbegründender Invaliditätsgrad vorliegt. In medizinischer Hinsicht hat sie nach einlässlicher Würdigung der umfangreichen ärztlichen Unterlagen, namentlich des früheren Gutachtens der MEDAS vom 16. August 2001, der Berichte der Psychiaterin Frau Dr. med. R._ und des SUVA-Kreisarztes Dr. med. O._ (vom 26. Januar 2006), aber auch des Berichts des Dr. med. M._ vom 14. September 2006 und des Arztes des Regionalen Ärztlichen Dienstes (RAD), Dr. med. H._, vom 13. Februar 2007 festgehalten, seit 26. April 2004 sei keine rentenrelevante Veränderung der Situation eingetreten. Diese Feststellung ist das Resultat einer sorgfältigen Beweiswürdigung, beschlägt tatsächliche Aspekte und ist daher für das Bundesgericht verbindlich (<ref-law>), soweit das kantonale Gericht den rechtserheblichen Sachverhalt nicht offensichtlich unrichtig oder in Verletzung von Bundesrecht festgestellt hat (Art. 97 Abs. 1 in Verbindung mit <ref-law>). Eine derartige Sachverhaltsfeststellung der Vorinstanz ist entgegen der Behauptung des Beschwerdeführers nicht erkennbar. Die in der Beschwerde erhobenen Rügen sind in weiten Teilen als appellatorische Kritik an der Beweiswürdigung des Sozialversicherungsgerichts im Rahmen der geltenden Kognition des Bundesgerichts (E. 1 hievor) einer Überprüfung nicht zugänglich. Dies betrifft namentlich die Würdigung des Berichts des Kreisarztes Dr. med. O._ vom 26. Januar 2006 und der knappen Aussagen der Psychiaterin Frau Dr. med. R._ gemäss Schreiben vom 7. Februar 2007. Eine abweichende Interpretation dieser Angaben vermag keine offensichtlich unrichtige Sachverhaltsfeststellung durch die Vorinstanz zu begründen. Insbesondere trifft die vorinstanzliche Feststellung zu, wonach Frau Dr. med. R._ im Bericht vom 7. Februar 2007 dieselben Symptome beschreibt wie in demjenigen vom 10. April 2003 und den Beschwerdeführer bereits damals als nicht arbeitsfähig beurteilt hat. Dies hat das Eidgenössische Versicherungsgericht im Urteil vom 6. April 2006 aber nicht als Folge einer verselbständigten psychischen Erkrankung gewertet. Dass sich die Einschätzung von Dr. med. O._ mit derjenigen von Frau Dr. med. R._ deckt, beweist deshalb ebenfalls keine Verschlechterung. Der Einwand, das kantonale Gericht habe zu Unrecht invaliditätsfremde Gründe für die erschwerte Wiedereingliederung des Beschwerdeführers verantwortlich gemacht, betrifft ebenfalls eine Feststellung tatsächlicher Natur. Zwar ist die vorinstanzliche Aussage, es sei invaliditätsfremd, dass der Beschwerdeführer über 12 Jahre keiner Erwerbstätigkeit nachgegangen ist, in dieser Form fragwürdig. Dies ändert aber nichts daran, dass er gemäss Urteil des Eidgenössischen Versicherungsgerichts vom 6. April 2006 jedenfalls ab Juli 2004 in rentenausschliessendem Ausmass arbeitsfähig war und seine seitherige Absenz vom Arbeitsmarkt invalititätsfremd ist. Des Weiteren beruht auch die Feststellung der Vorinstanz zu den somatischen Gesundheitsschäden auf einer nicht offensichtlich unrichtigen Würdigung des Berichts des Dr. med. I._ vom 28. November 2006, welchem keine Zunahme des Arbeitsunfähigkeitsgrades im massgeblichen Zeitraum entnommen werden kann. Schliesslich ist der Vorwurf, die IV-Stelle habe den Untersuchungsgrundsatz missachtet, indem sie den medizinischen Sachverhalt nur unzureichend abklärte, unbegründet. Die Vorinstanz hatte keinen Anlass, zufolge unzulänglicher medizinischer Entscheidgrundlagen zusätzliche Abklärungen, allenfalls in Form eines Gutachtens, anzuordnen, da der medizinische Sachverhalt hinreichend geklärt war. Nachdem das Bundesgericht, wie dargelegt, an den von der Vorinstanz korrekt festgestellten Sachverhalt gebunden ist, entfällt eine Rückweisung der Sache zur Durchführung medizinischer Abklärungen im Sinne des Eventualantrages des Beschwerdeführers.
4. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse der Migros-Betriebe und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. Februar 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer