Sachverhalt: A. A.a. H._, geboren 1956, war von 1993 bis August 2004 als Elektromonteur/Geschäftsführer für die Q._ AG tätig gewesen. Im Februar 2006 meldete er sich unter Hinweis auf eine morbide Adipositas (BMI über 50 kg/m2) bei der Invalidenversicherung zum Leistungsbezug an. Nach entsprechenden medizinischen Abklärungen verneinte die IV-Stelle des Kantons Zürich mit Verfügung vom 7. März 2007 einen Rentenanspruch. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. Dezember 2008 gut und wies die Sache zur Durchführung einer interdisziplinären medizinischen Abklärung und anschliessender Neuverfügung an die IV-Stelle zurück. A.b. In der Folge holte die IV-Stelle ein interdisziplinäres Gutachten beim medizinischen Zentrum X._ vom 4. Dezember 2010 ein. Nach Durchführung des Vorbescheidverfahrens wies sie das Rentenbegehren des Versicherten mit Verfügung vom 25. März 2011 erneut ab. B. Die dagegen erhobene Beschwerde, in deren Folge ein Bericht des Dr. med. O._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 8. Juli 2011 eingereicht worden war, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 21. Februar 2012 ab. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, in Aufhebung des kantonalen Gerichtsentscheides sei ihm mit Wirkung ab August 2005 eine seiner Erwerbsunfähigkeit entsprechende IV-Rente zuzusprechen. Eventualiter sei die Sache zur Einholung eines psychiatrischen Obergutachtens an die IV-Stelle zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht. Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.