Sachverhalt:
A. Der 1950 geborene N._ arbeitete zuletzt ab 1999 als Chef de Service/Kellner im Restaurant G._. Im Dezember 2004 meldete er sich unter Hinweis auf eine nach einem Unfall vom 31. Dezember 2002 aufgetretene Lumboischialgie bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Stadt zog die Akten des zuständigen obligatorischen Unfallversicherers bei, traf erwerbliche Abklärungen und holte Berichte der behandelnden Ärzte sowie ein rheumatologisches-psychiatrisches Gutachten der Dres. med. J._ und S._ vom 17. Januar 2007 (mit Ergänzung Dr. med. S._ vom 13. August 2007) ein. Gestützt darauf verneinte sie mit Verfügung vom 25. Juli 2007 einen Anspruch auf eine Invalidenrente mangels eines leistungsbegründenden Invaliditätsgrades.
B. Die von N._ hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht Basel-Stadt mit Entscheid vom 14. Mai 2008 ab.
C. N._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des kantonalen Entscheides sei die Sache zur Neubeurteilung an die Verwaltung zurückzuweisen. Weiter wird um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die IV-Stelle beantragt die Abweisung der Beschwerde, ohne sich weiter zur Sache zu äussern. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2 Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene kantonale Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht, Völkerrecht oder kantonale verfassungsmässige Rechte verletzt (Art. 95 lit. a-c BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>). Hingegen hat unter der Herrschaft des BGG eine freie Überprüfung des vorinstanzlichen Entscheids in tatsächlicher Hinsicht zu unterbleiben (ausser wenn sich die Beschwerde gegen einen Entscheid über die Zusprechung oder Verweigerung von Geldleistungen der Militär- oder Unfallversicherung richtet; <ref-law>). Zur auch unter der Geltung des BGG massgebenden Abgrenzung von Tat- und Rechtsfragen im Bereich der Invaliditätsbemessung wird auf <ref-ruling> verwiesen.
2. Streitig ist der Anspruch auf eine Rente der Invalidenversicherung.
Die relevanten Bestimmungen und Grundsätze sind im angefochtenen Entscheid und in der Verwaltungsverfügung vom 25. Juli 2007 zutreffend dargelegt. Es betrifft dies die Regelung des Rentenanspruchs nach Massgabe des Invaliditätsgrades (<ref-law> in den vor und ab 2004 gültig gewesenen Fassungen), die Invaliditätsbemessung bei erwerbstätigen Versicherten mittels Einkommensvergleich (<ref-law>), die Aufgabe des Arztes bei der Invaliditätsbemessung (<ref-ruling> E. 4 S. 261 mit Hinweisen; vgl. auch <ref-ruling> E. 4 S. 99 f. mit Hinweisen) und die Beweiswürdigung in Bezug auf ärztliche Berichte und Gutachten (<ref-ruling> E. 3 S. 352 ff.; vgl. auch <ref-ruling> E. 5.1 S. 232). Darauf wird verwiesen. Anzufügen bleibt, dass die im Rahmen der 5. IV-Revision Anfang Januar 2008 in Kraft getretenen Rechtsänderungen intertemporalrechtlich nicht anwendbar sind.
3. Das kantonale Gericht ist zum Ergebnis gelangt, in einer leidensangepassten Tätigkeit bestehe eine Restarbeitsfähigkeit von 80 %. Es stützt sich dabei auf das rheumatologische-psychiatrische Gutachten der Dres. med. J._ und S._ vom 17. Januar 2007 (mit Ergänzung vom 13. August 2007). Danach ist dem Versicherten aufgrund einer Osteochondrose L5/S1 mit Discopathie keine körperliche Schwerarbeit zumutbar; er kann zudem nicht über 10 kg heben, stossen oder schieben, nicht dauernd vorüber gebeugt arbeiten und sich nicht dauernd rezidivierend bücken. Unter Berücksichtigung dieser Einschränkungen ist ihm aus somatischer-rheumatologischer Sicht ein vollschichtiges Arbeitspensum zumutbar. Aus psychiatrischer Sicht liegt aufgrund einer leichtgradigen depressiven Störung eine Arbeitsunfähigkeit von höchstens 20 % vor. Gesamthaft bestätigen die Experten, dass ein 80%iges Arbeitspensum zumutbar ist, wenn den genannten körperlich bedingten Einschränkungen Rechnung getragen wird.
3.1 In der Beschwerde wird geltend gemacht, der rechtserhebliche Sachverhalt sei unvollständig abgeklärt worden. Zum einen hätte noch eine orthopädische Abklärung vorgenommen werden müssen. Der Versicherte bezieht sich dabei auf den Bericht des Prof. Dr. med. E._, Orthopädische Universitätsklinik des Spitals X._, vom 11. Juni 2004, in welchem eine operative Dekompression mit PLIF auf Höhe L5/S1 vorgeschlagen wurde, und die Aussagen des behandelnden Rheumatologen Dr. med. K._. Zum anderen hätte aufgrund von Diskrepanzen zwischen den Aussagen des Experten Dr. med. S._ und denjenigen des behandelnden Psychiaters Dr. med. B._ ein psychiatrisches Obergutachten angeordnet werden müssen.
3.2 Das kantonale Gericht hat sich im angefochtenen Entscheid mit diesen schon vorinstanzlich erhobenen Einwänden einlässlich auseinandergesetzt. Es hat dargelegt, weshalb es den medizinischen Sachverhalt aufgrund des bidisziplinären Gutachtens vom 17. Januar 2007 als genügend abgeklärt erachtet.
Dabei hat es insbesondere erwogen, zwar habe sich Dr. med. J._ im Gutachten vom 17. Januar 2007 nicht weiter mit dem Bericht des Prof. Dr. med. E._ auseinandergesetzt. Er führe diesen Bericht aber bei der Aufzählung der ihm vorgelegenen Akten auf. Es könne deshalb davon ausgegangen werden, dass der Experte seine Beurteilung in Kenntnis des Berichts vorgenommen und diesen berücksichtigt habe. Der Bericht des Prof. Dr. med. E._ enthalte zudem lediglich einen Vorschlag für eine Operation. Es erübrigten sich daher weitere orthopädische Abklärungen, zumal Dr. med. K._ im Schreiben vom 15. Mai 2007 bestätige, dass keine fassbaren Zeichen einer Wurzelkompressionssymptomatik bestünden. Das Gutachten vom 17. Februar 2007 werde durch den Bericht des Prof. Dr. med. E._ nicht in Zweifel gezogen. Zum psychischen Gesundheitszustand führt das kantonale Gericht aus, Dr. med. S._ habe sich eingehend mit der Frage der mittelgradigen oder leichtgradigen depressiven Episode befasst und sei, anders als Dr. med. B._, zum Ergebnis gelangt, es liege keine mittelgradige Episode vor. Dr. med. S._ führe im Gutachten vom 17. Januar 2007 auch mit einlässlicher Begründung aus, die rezidivierende depressive Störung sei hier eher als eine sekundäre Auswirkung der zugrunde liegenden narzisstisch-neurotischen Störung zu interpretieren. Zu beachten sei sodann, dass Hausärzte und behandelnde Fachärzte mitunter im Hinblick auf ihre auftragsrechtliche Vertrauensstellung in Zweifelsfällen eher zu Gunsten ihrer Patienten aussagten. Dies spreche ebenfalls dafür, dem bidisziplinären Gutachten vom 17. Januar 2007 höheren Beweiswert beizumessen als den Berichten der Dres. med. K._ und B._.
3.3 In der Beschwerde wird nichts vorgebracht, was diese Beurteilung als offensichtlich unrichtig oder rechtsfehlerhaft erscheinen liesse.
In somatisch-medizinischer Hinsicht wird im Wesentlichen geltend gemacht, der Experte Dr. med. J._ setze sich nicht mit dem von Prof. Dr. med. E._ erwähnten MRI auseinander. Es besteht indessen kein Anlass, diesbezüglich anders zu entscheiden als bezüglich des auf das MRI gestützten Berichtes des Prof. Dr. med. E._ vom 11. Juni 2004. Die Würdigung dieses Berichts im angefochtenen Entscheid ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis nicht zu beanstanden. Eingewendet wird sodann, die Aussage des Dr. med. K._, wonach zurzeit keine fassbaren Zeichen einer Wurzelkompressionssymptomatik bestünden, werde dadurch relativiert, dass der Rheumatologe zugleich orthopädische Abklärungen postuliere. Dies ändert aber nichts daran, dass Dr. med. K._ eben keine Zeichen einer Wurzelkompressionssymptomatik finden konnte. Dies hat das kantonale Gericht, nach Lage der Akten zu Recht, mit zum Anlass genommen, die Notwendigkeit weiterer (orthopädischer) Abklärungen zu verneinen.
Bezüglich des psychischen Gesundheitszustandes beschränkt sich der Versicherte im Wesentlichen darauf, die Aussagen des Experten Dr. med. S._ und des behandelnden Psychiaters Dr. med. B._ zu interpretieren und gegeneinander abzuwägen. Die Folgerung des kantonalen Gerichts, wonach auf Dr. med. S._ abzustellen und kein psychiatrisches Obergutachten erforderlich ist, wird dadurch nicht in Zweifel gezogen. Die Beschwerde ist demnach auch diesbezüglich unbegründet.
4. Die erwerblichen Auswirkungen der gesundheitlichen Beeinträchtigung hat die Verwaltung mittels Einkommensvergleichs bestimmt. Dabei setzte sie das im Gesundheitsfall mutmasslich erzielte Einkommen (Valideneinkommen) anhand des früheren Lohnes und das trotz invalidisierender Gesundheitsschädigung zumutbarerweise noch erzielbare Einkommen (Invalideneinkommen) anhand von statistischen Durchschnittslöhnen fest. Dies führt zu einem Invaliditätsgrad, welcher mit 20 % unter den für einen Rentenanspruch mindestens erforderlichen 40 % (Art. 28 Abs. 1 in der bis Ende 2007 gültig gewesenen Fassung) liegt. Das kantonale Gericht hat erwogen, bei der Bestimmung des Invalideneinkommens sei teilweise anders vorzugehen, als dies die Verwaltung getan habe. Dies ändere aber nichts am Ergebnis eines nicht rentenbegründenden Invaliditätsgrades.
Die Beschwerde äussert sich hiezu nicht. Sie ist daher, ohne dass noch geprüft werden müsste, ob nun das Vorgehen der Verwaltung oder das des kantonalen Gerichts bei der Bestimmung des Invalideneinkommens richtig ist, abzuweisen.
5. Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
4. Advokat Dr. Marco Biaggi wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Februar 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz