Sachverhalt: A. Der 1964 geborene, als Parkettleger tätig gewesene D._ meldete sich im April 2005 unter Hinweis auf Rückenschmerzen bei der Invalidenversicherung zum Rentenbezug an. Nach medizinischen und beruflichen Abklärungen verneinte die IV-Stelle Basel-Landschaft mit Verfügung vom 4. November 2008 einen Rentenanspruch mangels eines leistungsbegründenden Invaliditätsgrades. B. Die von D._ hiegegen erhobene Beschwerde wies das Kantonsgericht Basel-Landschaft mit Entscheid vom 29. Mai 2009 ab. C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, es sei der vorinstanzliche Entscheid aufzuheben und mindestens eine Dreiviertelsrente zuzusprechen; eventuell sei ein medizinisches Obergutachten einzuholen und die Sache zur Neubeurteilung an die IV-Stelle zurückzuweisen. Zudem wird um unentgeltliche Rechtspflege für das letztinstanzliche Verfahren ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.