Sachverhalt:
A. Mit Verfügung vom 23. Oktober 2003, bestätigt mit Einspracheentscheid vom 21. Juli 2004, lehnte die IV-Stelle Basel-Stadt das Gesuch des 1954 geborenen A._ um Zusprechung einer Invalidenrente ab. Die hiegegen eingereichte Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 16. März 2005 ab. Die vom Versicherten erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht mit Urteil vom 28. Dezember 2005 in dem Sinne gut, dass es den kantonalen Gerichts- und den Einspracheentscheid aufhob und die Sache an die IV-Stelle zurückwies, damit sie gestützt auf eine polydisziplinäre Begutachtung unter Beteiligung der fachärztlichen Bereiche Orthopädie, Neurologie, Rheumatologie und Psychiatrie über das Leistungsgesuch des Versicherten vom 31. Januar 2001 neu verfüge. Gestützt auf ein Gutachten der Akademie X._ vom 6. Juni 2007 verfügte die IV-Stelle nach Durchführung des Vorbescheidverfahrens am 22. Oktober 2007 wiederum die Ablehnung des Rentengesuchs.
B. Die hiegegen eingereichte Beschwerde, mit welcher A._ die Aufhebung der Verfügung und die Gewährung einer Invalidenrente hatte beantragen lassen, wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 25. September 2008 ab.
C. Der Versicherte lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem sinngemässen Rechtsbegehren um Zusprechung einer Invalidenrente. Ferner ersucht er um die Bewilligung der unentgeltlichen Prozessführung.
Die IV-Stelle und das Bundesamt für Sozialversicherungen schliessen auf Abweisung der Beschwerde.
Erwägungen:
1. Die Rechtmässigkeit des angefochtenen Entscheides wird in der Beschwerdeschrift grundsätzlich anerkannt, wird doch ausgeführt, dieser sei "in Übereinstimmung mit der bisherigen Rechtsprechung und von A bis Z richtig". Der Versuch des Beschwerdeführers, einen Invalidenrentenanspruch mit der humanitären Tradition der Schweiz zu begründen, geht an der Sache vorbei, beurteilt sich der Anspruch auf eine Invalidenrente doch einzig danach, ob im Einzelfall die gesetzlichen Voraussetzungen hiefür gegeben sind.
Die weiteren Einwendungen des Versicherten erschöpfen sich in einer im Rahmen der letztinstanzlich geltenden Überprüfungsbefugnis (Art. 97 Abs. 1 in Verbindung mit Art. 95 lit. a und Art. 105 Abs. 1 und 2 BGG) unzulässigen Kritik an der vorinstanzlichen Beweiswürdigung.
2. Im Urteil vom 28. Dezember 2005, mit welchem es die Sache zu ergänzenden Abklärungen an die IV-Stelle zurückwies, ordnete das Eidgenössische Versicherungsgericht an, es sei eine polydisziplinäre Begutachtung vorzunehmen; dabei seien Untersuchungen in orthopädischer, neurologischer, rheumatologischer und psychiatrischer Hinsicht durchzuführen. Gleich lautete in der Folge der Auftrag der Verwaltung für eine interdisziplinäre Abklärung vom 29. September 2006 an die MEDAS. Das alsdann von der Akademie X._ verfasste Gutachten vom 6. Juni 2007 beruhte auf einer internistischen, einer neurologischen sowie einer psychiatrischen Untersuchung. Die Tatsache, dass an der Begutachtung durch die Akademie X._ kein Rheumatologe und auch kein Orthopäde beteiligt war, hat der Beschwerdeführer weder im kantonalen noch im letztinstanzlichen Verfahren gerügt. In der Gesamtbeurteilung gelangten die drei Fachärzte der Akademie X._ zum Schluss, dass der Beschwerdeführer aus gesundheitlichen Gründen nicht mehr als Gärtner arbeiten könne. Hingegen sei in einer angepassten Tätigkeit mit so weit wie möglich wechselnder Körperhaltung ohne ausgeprägte Belastung der Körperachse volle Arbeitsfähigkeit gegeben. Angesichts dieser klaren Untersuchungsergebnisse und des unter den Gutachtern bestehenden Konsenses hinsichtlich des Gesundheitszustandes und der zumutbaren Arbeitsleistungen lässt es sich nicht beanstanden und verletzt es kein Bundesrecht, dass die Vorinstanz auf die Expertise der Akademie X._ abstellte, auch wenn die Modalitäten der interdisziplinären Begutachtung nicht in allen Punkten den grundsätzlich verbindlichen Vorgaben des Eidgenössischen Versicherungsgerichts entsprachen. Eine nochmalige Rückweisung der Sache zur Durchführung orthopädischer und rheumatologischer Untersuchungen kann unter den dargelegten Umständen unterbleiben.
3. Dem Gesuch um unentgeltliche Prozessführung ist stattzugeben, da die Bedürftigkeit aktenkundig ist und die Beschwerde nicht als aussichtslos bezeichnet werden kann (Art. 64 Abs. 1 BGG). Der Beschwerdeführer ist indessen auf Art. 64 Abs. 4 BGG hinzuweisen. Danach hat die Partei der Gerichtskasse Ersatz zu leisten, wenn sie später dazu in der Lage ist. Eine Entschädigung der anwaltlichen Bemühungen fällt jedoch ausser Betracht, da die Aussichtslosigkeit der Beschwerde einzig kraft des in die Augen springenden Umstandes zu verneinen ist, dass das Rückweisungsverfahren die Vorgaben des Rückweisungsurteils vom 28. Dezember 2005 nicht vollumfänglich beachtet hat.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwedeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Juni 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer