Sachverhalt:
A. Der 1964 geborene, als Parkettleger tätig gewesene D._ meldete sich im April 2005 unter Hinweis auf Rückenschmerzen bei der Invalidenversicherung zum Rentenbezug an. Nach medizinischen und beruflichen Abklärungen verneinte die IV-Stelle Basel-Landschaft mit Verfügung vom 4. November 2008 einen Rentenanspruch mangels eines leistungsbegründenden Invaliditätsgrades.
B. Die von D._ hiegegen erhobene Beschwerde wies das Kantonsgericht Basel-Landschaft mit Entscheid vom 29. Mai 2009 ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und mindestens eine Dreiviertelsrente zuzusprechen; eventuell sei ein medizinisches Obergutachten einzuholen und die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen. Zudem wird um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss Art. 95 und Art. 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es kann die Verletzung von Grundrechten und von kantonalem und interkantonalem Recht nur insofern prüfen, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2. Streitig ist, ob der Beschwerdeführer Anspruch auf eine Rente der Invalidenversicherung hat. Die Rechtsgrundlagen für die Beurteilung der Streitsache sind im angefochtenen Entscheid zutreffend dargelegt. Das gilt nebst den massgeblichen Bestimmungen über den Rentenanspruch namentlich auch für die zu beachtenden beweisrechtlichen Grundsätze. Darauf wird verwiesen.
3. 3.1 Die IV-Stelle ist zum Ergebnis gelangt, dem Versicherten seien unter Berücksichtigung der gesundheitsbedingten Beeinträchtigung noch leichte, leidensadaptierte Tätigkeiten im Umfang von 100%, mit einer Leistungseinbusse von 20%, zumutbar. Die Verwaltung stützte sich dabei namentlich auf das von ihr eingeholte rheumatologische/psychiatrische Gutachten der Dres. med. F._ und G._ vom 22. Mai 2008.
Das kantonale Gericht hat dies im Wesentlichen bestätigt und lediglich Zweifel daran geäussert, ob die Berücksichtigung einer Leistungseinbusse überhaupt gerechtfertigt sei.
3.2 In der Beschwerde wird geltend gemacht, es liege eine gravierendere psychische Beeinträchtigung vor, als im Gutachten F._/G._ vom 22. Mai 2008 bestätigt. Der Versicherte beruft sich dabei auf den neu aufgelegten Bericht der behandelnden Psychiaterin Frau Dr. med. M._ vom 17. August 2009.
Es fragt sich, ob dieses neue Beweismittel prozessual zulässig ist. Dies würde voraussetzen, dass erst der angefochtene Entscheid Anlass zu seiner Einreichung gegeben hat (<ref-law>; <ref-ruling>; SVR 2009 IV Nr. 10 S. 21, 9C_40/2007 E. 3.1). Das trifft nicht zu. Der neue Bericht entspricht im Wesentlichen den von der Psychiaterin bereits im Verwaltungsverfahren abgegebenen Stellungnahmen. Verwaltung und Vorinstanz haben dargelegt, weshalb sie letztere nicht als geeignet betrachten, Zweifel am Gutachten F._/G._ vom 22. Mai 2008 zu begründen. Das neue Beweismittel ist somit unzulässig.
Die weiteren Vorbringen in der Beschwerde vermögen ebenfalls nicht, die vorinstanzlichen Sachverhaltsfeststellungen zu Gesundheitszustand und Arbeitsunfähigkeit als offensichtlich unrichtig oder als rechtsverletzend nach <ref-law> erscheinen zu lassen. Das gilt namentlich auch, soweit - mindestens sinngemäss - geltend gemacht wird, die Arbeitsfähigkeit werde durch eine anhaltende somatoforme Schmerzstörung eingeschränkt. Das kantonale Gericht hat erkannt, dass selbst wenn von einer solchen medizinischen Diagnose auszugehen wäre, jedenfalls die gemäss Rechtsprechung geltenden Voraussetzungen (vgl. <ref-ruling> E. 1.2 S. 50 f. mit Hinweisen) fehlten, um ausnahmsweise auf mangelnde Überwindbarkeit einer solchen Störung und damit auf deren invalidisierende Wirkung schliessen zu können. Diese Beurteilung ist im Rahmen der bundesgerichtlichen Überprüfungsbefugnis (vgl. zu deren Umfang insbesondere bei somatoformen Schmerzstörungen: SVR 2008 IV Nr. 23 S. 71, I 683/06 E. 2.2; aus jüngster Zeit: Urteil 9C_161/2009 vom 18. September 2009 E. 3) nicht zu beanstanden. Gleiches gilt, soweit die Vorinstanz in antizipierter Beweiswürdigung zum Ergebnis gelangt ist, weitere medizinische Abklärungen seien für die Entscheidfindung nicht erforderlich.
Der Versicherte macht sodann mindestens sinngemäss geltend, es sei zwischenzeitlich eine gesundheitliche Verschlechterung eingetreten. Diesbezüglich hat es mit dem Hinweis sein Bewenden, dass eine allfällige solche Entwicklung mittels einer Neuanmeldung bei der Verwaltung geltend zu machen wäre (Art. 87 Abs. 3 und 4 IVV; <ref-ruling>; vgl. auch <ref-ruling>).
4. 4.1 Ausgehend vom beschriebenen Zumutbarkeitsprofil hat die IV-Stelle in der Verfügung vom 4. November 2008 einen Einkommensvergleich vorgenommen. Sie hat das ohne invalidisierende Gesundheitsschädigung mutmasslich erzielte Einkommen (Valideneinkommen) auf Fr. 70'709.- und das trotz gesundheitlicher Beeinträchtigung zumutbarerweise erzielbare Einkommen (Invalideneinkommen) gestützt auf die - der betriebsüblichen Arbeitszeit angepassten - Tabellenlöhne gemäss der Schweizerischen Lohnstrukturerhebung (LSE) auf Fr. 47'358.- (Fr. 59'197.- abzüglich 20% aufgrund der angenommenen Leistungseinbusse) festgesetzt. Die Differenz von 23'351.- zwischen den Vergleichseinkommen entspricht einem Invaliditätsgrad, welcher mit 33% unter den für einen Rentenanspruch mindestens erforderlichen 40% (<ref-law> in der bis Ende 2007 gültig gewesenen Fassung; <ref-law> in der seit Anfang 2008 geltenden Fassung) liegt. Im kantonalen Verfahren ist die Verwaltung von dieser Invaliditätsbemessung insofern abgewichen, als sie mit der Begründung, eine allfällige Rente hätte im Jahr 2005 begonnen, postulierte, für die Bestimmung des Valideneinkommens anstelle der zuvor verwendeten LSE 2006 die LSE 2004 heranzuziehen und die Lohnentwicklung aufs Jahr 2005 aufzurechnen. Dies führe zu einem - nach wie vor nicht rentenbegründenden - Invaliditätsgrad von 34%. Das kantonale Gericht ist dieser präzisierten Betrachtungsweise vollumfänglich gefolgt.
4.2 Umstritten ist einzig die Frage des leidensbedingten Abzugs beim Invalideneinkommen.
Rechtsprechungsgemäss kann bei der Bestimmung des Invalideneinkommens nach den Durchschnittslöhnen gemäss LSE dem Umstand, dass gesundheitlich eingeschränkte Personen aufgrund bestimmter Faktoren (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) gegebenenfalls nur unterdurchschnittliche Löhne erzielen, mit einem Abzug vom statistischen Lohn Rechnung getragen werden (<ref-ruling> E. 5 S. 78 ff.). Der Abzug ist unter Würdigung der Umstände im Einzelfall nach pflichtgemässem Ermessen gesamthaft zu schätzen und unter Berücksichtigung aller jeweils in Betracht fallenden Merkmale auf insgesamt höchstens 25% zu begrenzen (<ref-ruling> E. 5b/bb und cc S. 80).
4.3 Das kantonale Gericht hat erwogen, soweit ein leidensbedingter Abzug vorzunehmen sei, habe die IV-Stelle dem mit der Berücksichtigung der Leistungseinschränkung von 20% Rechnung getragen. Ein zusätzlicher Abzug sei nicht gerechtfertigt.
In der Beschwerde wird beanstandet, die Vorinstanz habe damit das ihr zustehende Ermessen fehlerhaft ausgeübt.
4.4 Wie hoch der im Einzelfall als dem Grundsatz nach gerechtfertigt erscheinende Leidensabzug anzusetzen ist, stellt eine typische Ermessensfrage dar. Deren Beantwortung ist letztinstanzlicher Korrektur nur mehr dort zugänglich, wo das kantonale Gericht das Ermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (vgl. <ref-ruling> E. 3.3 in fine S. 399; BGE 8C_644/2008 vom 19. August 2009 E. 6.1; BGE 8C_652/2008 vom 8. Mai 2009 E. 4 mit weiteren Hinweisen).
Was in der Beschwerde vorgebracht wird, rechtfertigt nicht den Schluss auf eine solche qualifiziert falsche Ermessensbetätigung. Der leidensbedingten Einschränkung bei der Lohnerzielung wurde Rechnung getragen. Eine gesundheitlich begründete Beschränkung auf Teilzeittätigkeiten liegt nicht vor. Dass die Anzahl Dienstjahre nicht berücksichtigt wurden, lässt den angefochtenen Entscheid mit Blick auf das hier gegebene niedrige Anforderungsprofil bei Verweisungstätigkeiten nicht als rechtsfehlerhaft erscheinen (<ref-ruling> E. 5a/cc S. 79 mit Hinweis). Geltend gemacht wird weiter, der Beschwerdeführer beherrsche die deutsche Sprache in Schriftform nur schlecht. Sodann wird auf sein Alter verwiesen. Es ist indessen nicht ersichtlich, weshalb der Versicherte deshalb bei den zumutbaren Tätigkeiten eine Lohneinbusse zu gewärtigen hätte, welche die Ermessensbetätigung der Vorinstanz als rechtsfehlerhaft erscheinen liesse.
Der vorinstanzliche Einkommensvergleich ist im Übrigen nicht umstritten. Es bleibt damit bei einem nicht rentenbegründenden Invaliditätsgrad.
5. Die offensichtlich unbegründete Beschwerde ist im Verfahren nach <ref-law> abzuweisen.
6. Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (<ref-law>). Das Gesuch um unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) ist infolge Aussichtslosigkeit der Beschwerde abzuweisen (Art. 64 Abs. 1 und 2 BGG; zum Erfordernis der Aussichtslosigkeit auch bei der unentgeltlichen Verbeiständung: Urteil 8C_258/2009 vom 24. August 2009 E. 7 mit Hinweisen).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird den Parteien, dem Kantonsgericht Basel-Landschaft, Abteilung Sozialversicherungsrecht, der Ausgleichskasse der Wirtschaftskammer Baselland und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. November 2009
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Ursprung Lanz