Sachverhalt:
A. Der 1963 geborene R._ arbeitete seit Februar 1991 als Filialleiter in der Firma A._ AG. Wegen Rückenschmerzen meldete er sich am 14. Januar 1999 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich anerkannte ab September 2001 den Anspruch auf Umschulung, welche der Versicherte am 6. Mai 2002 jedoch abbrach. Nach Abklärung der Verhältnisse hinsichtlich eines Rentenanspruchs lehnte die IV-Stelle das Leistungsbegehren bei einem Invaliditätsgrad von 36 % mit Verfügung vom 5. Oktober 2005 und Einspracheentscheid vom 3. Januar 2006 ab.
B. Das Sozialversicherungsgericht des Kantons Zürich wies die dagegen erhobene Beschwerde mit Entscheid vom 31. Mai 2009 ab. Dabei stützte sich die Vorinstanz insbesondere auf ein von ihr in Auftrag gegebenes Gutachten vom 21. Oktober 2008 des medizinischen Zentrums X._.
C. R._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag auf Aufhebung des angefochtenen Entscheids und Rückweisung der Sache an die IV-Stelle zwecks neuer psychiatrischer Beurteilung. Zudem ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2. Streitig und zu prüfen ist, ob der Beschwerdeführer Anspruch auf eine Invalidenrente hat. Die Vorinstanz hat die gesetzlichen Bestimmungen und von der Rechtsprechung entwickelten Grundsätze, namentlich diejenigen über die Begriffe der Erwerbsunfähigkeit (Art. 7 ATSG) und der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), über die Bemessung des Invaliditätsgrades und den Umfang des Rentenanspruchs sowie zum Beweiswert und zur Beweiswürdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 3a S. 352 mit Hinweis), richtig dargelegt. Hierauf wird verwiesen.
3. 3.1 Das kantonale Gericht ist - wobei es die hievor (E. 1) aufgeführte gesetzliche Kognitionsregelung zu beachten gilt - nach einlässlicher, pflichtgemässer Würdigung der medizinischen Unterlagen (angefochtener Entscheid, S. 8-11 E. 4), insbesondere des Gutachtens des medizinischen Zentrums X._ vom 21. Oktober 2008 sowie weiterer Gutachten und Berichte zum Schluss gelangt, dass dem Versicherten die Ausübung einer körperlich leichten, wechselbelastenden Tätigkeit vollzeitig zumutbar ist und dass von psychiatrischer Seite, in welcher Hinsicht eine somatoforme Schmerzstörung und eine allenfalls leichte depressive Symptomatik im Sinne einer Anpassungsstörung diagnostiziert wurde, keine zusätzliche Einschränkung der Arbeitsfähigkeit besteht (angefochtener Entscheid, S. 12 E. 5.2 und S. 14 E. 5.3). Dass sich die Vorinstanz, was die Interpretation der medizinischen Befunde mit Blick auf die für die Invaliditätsbemessung entscheidende funktionelle Leistungsfähigkeit anbelangt, bei ihrer Beweiswürdigung vorwiegend auf das durch sie veranlasste Gutachten des medizinischen Zentrums X._ vom 21. Oktober 2008 gestützt hat, verletzt grundsätzlich kein Bundesrecht (vgl. <ref-ruling> E. 3b/aa S. 352 f.).
3.2 Der Beschwerdeführer macht allerdings geltend, auf das Gutachten des medizinischen Zentrums X._ könne nicht abgestellt werden. Wenn gemäss Beschluss der Vorinstanz vom 24. November 2007 ausdrücklich die Einholung einer Fremdanamnese beim behandelnden Psychiater gefordert worden sei, habe dies auch tatsächlich zu erfolgen, nachdem der frühere Bericht des Dr. med. S._ dem Gutachter vorenthalten wurde.
3.2.1 Eine unabhängig vom Gutachten vom 21. Oktober 2008 vorhandene Gesundheitsschädigung wurde weder in somatischer noch in psychiatrischer Hinsicht ausgewiesen und durch Dr. med. S._ in einem früheren gutachtlichen Bericht vom 18. Februar 2006 auch nicht überzeugend dargelegt. Aufgrund der vorinstanzlich vorhandenen Akten wurde ferner entschieden, dass eine Arbeitsunfähigkeit mit relevant invalidisierender Wirkung, welche von der grundsätzlich - und auch in diesem Fall wegen offensichtlich fehlender Erfüllung der Morbiditätskriterien - nicht invalidisierenden (<ref-ruling>) Schmerz- und anderweitigen syndromalen Fehlentwicklung zu unterscheiden ist, nicht gegeben war.
3.2.2 Es trifft allerdings zu, dass das kantonale Gericht anlässlich der eingeholten Begutachtung des medizinischen Zentrums X._ eine "vollständige Anamnese unter Einbezug von fremdanamnestischen Auskünften, insbesondere des behandelnden Psychiaters Dr. med. S._" angeordnet hatte, mit gleichzeitig verlangter Bezugnahme auf die lite pendente eingereichten Berichte. Den Parteien wurde in diesem Zusammenhang zunächst Gelegenheit eingeräumt, sich zu den in Aussicht genommenen Gutachtern zu äussern und Ergänzungen sowie Änderungen der Fragestellung zu beantragen. Der Versicherte benutzte diese ihm korrekt zugestandenen Verfahrensrechte nicht etwa, um Fragen zuhanden der Begutachter zu stellen, sondern liess statt dessen innert verlängerter Frist kommentarlos weitere Berichte der Klinik Y._ und der Dres. med. S._, N._ und G._ vom 5. und 31. Dezember 2007 sowie vom 10. und 26. Januar 2008 einreichen. Obwohl der Gutachtensauftrag an das medizinische Zentrum X._ vom 8. April 2008 den Vermerkt "Beilage: gesamte Akten" enthielt, wurden diese Berichte dem medizinischen Zentrum X._ nicht zur Verfügung gestellt, worauf der Beschwerdeführer in seiner Stellungnahme zur Begutachtung beanstandete, den Experten des medizinischen Zentrums X._ hätten die von ihm am 28. Januar 2008 eingereichten Berichte nicht zur Verfügung gestanden. Die Vorinstanz sprach diesem Einwand Erheblichkeit ab mit der Begründung, das medizinische Zentrum X._ wäre auch in Kenntnis dieser Berichte rheumatologisch-somatisch und psychiatrisch nicht zu anderen Erkenntnissen gelangt.
3.2.3 Die Vorinstanz hat die am 28. Januar 2008 eingereichte Stellungnahme von Dr. med. S._ vom 31. Dezember 2007 und die anderen damit eingereichten Berichte zwar gewürdigt. Dem medizinischen Zentrum X._ konnte auch nicht vorgeworfen werden, es habe die gestellte Frage nicht beantwortet. In der Tat wurde im Gutachtensauftrag festgehalten, es sei eine vollständige Anamnese zu erheben unter Einbezug von fremdanamnestischen Auskünften, insbesondere des behandelnden Psychiaters Dr. med. S._, was das medizinische Zentrum X._ in Kenntnis eines ihm vorliegenden Berichts dieses Arztes vom 18. Februar 2006 auch tat. Der Vorwurf des Beschwerdeführers kann somit nur darin bestehen, dass die Vorinstanz unvollständigerweise die am 28. Januar 2008 eingereichte Stellungnahme von Dr. med. S._ vom 31. Dezember 2007 und die anderen gleichzeitig eingereichten Berichte dem medizinischen Zentrum X._ nicht vorgelegt hat. Damit liegt aber eine unvollständige Sachverhaltsermittlung gemäss Art. 105 Abs. 2 BGG vor, welche den Grundsatz des rechtlichen Gehörs und somit Bundesrecht verletzt. Die Vorinstanz wird daher angewiesen, dem medizinischen Zentrum X._ nachträglich die streitigen Berichte einzureichen, damit dieses zu bestimmen hat, ob in Berücksichtigung derselben das Gutachten anders ausgefallen wäre.
4. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG). Das Gesuch um unentgeltliche Rechtspflege ist gegenstandslos.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 31. Mai 2009 wird aufgehoben und es wird die Sache an die Vorinstanz zurückgewiesen zur Ergänzung des Sachverhalts im Sinne der Erwägungen und zur neuen Entscheidung.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Mai 2010
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Scartazzini