Sachverhalt:
A.
A.a. H._, geboren 1956, war von 1993 bis August 2004 als Elektromonteur/Geschäftsführer für die Q._ AG tätig gewesen. Im Februar 2006 meldete er sich unter Hinweis auf eine morbide Adipositas (BMI über 50 kg/m2) bei der Invalidenversicherung zum Leistungsbezug an. Nach entsprechenden medizinischen Abklärungen verneinte die IV-Stelle des Kantons Zürich mit Verfügung vom 7. März 2007 einen Rentenanspruch. Die dagegen erhobene Beschwerde hiess das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 16. Dezember 2008 gut und wies die Sache zur Durchführung einer interdisziplinären medizinischen Abklärung und anschliessender Neuverfügung an die IV-Stelle zurück.
A.b. In der Folge holte die IV-Stelle ein interdisziplinäres Gutachten beim medizinischen Zentrum X._ vom 4. Dezember 2010 ein. Nach Durchführung des Vorbescheidverfahrens wies sie das Rentenbegehren des Versicherten mit Verfügung vom 25. März 2011 erneut ab.
B.
Die dagegen erhobene Beschwerde, in deren Folge ein Bericht des Dr. med. O._, Facharzt FMH für Psychiatrie und Psychotherapie, vom 8. Juli 2011 eingereicht worden war, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 21. Februar 2012 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt der Versicherte beantragen, in Aufhebung des kantonalen Gerichtsentscheides sei ihm mit Wirkung ab August 2005 eine seiner Erwerbsunfähigkeit entsprechende IV-Rente zuzusprechen. Eventualiter sei die Sache zur Einholung eines psychiatrischen Obergutachtens an die IV-Stelle zurückzuweisen. Zudem wird um Gewährung der unentgeltlichen Rechtspflege ersucht.
Die vorinstanzlichen Akten wurden eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Es wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind. Es ist jedenfalls nicht gehalten, wie eine erstinstanzliche Behörde alle sich stellenden rechtlichen Fragen zu untersuchen, wenn diese vor Bundesgericht nicht mehr vorgetragen wurden (<ref-ruling> E. 2.2.1 S. 389; vgl. auch <ref-ruling> E. 1.3 S. 584; je mit Hinweisen).
1.2. Im Rahmen der Invaliditätsbemessung betreffen die Feststellung des Gesundheitsschadens, d.h. die Befunderhebung, die gestützt darauf gestellte Diagnose und die ärztliche Stellungnahme zum noch vorhandenen Leistungsvermögen oder (bei psychischen Gesundheitsschäden) zur Verfügbarkeit von Ressourcen der versicherten Person sowie die aufgrund der medizinischen Untersuchungen gerichtlich konstatierte Arbeits (un) fähigkeit Tatfragen (<ref-ruling> E. 3.2 S. 398), welche sich nach der dargelegten Regelung der Kognition einer Überprüfung durch das Bundesgericht weitgehend entziehen. Ebenso stellt die konkrete Beweiswürdigung eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln nach <ref-law> eine Rechtsfrage; Gleiches gilt mit Bezug auf die Beachtung der bundesrechtlichen Anforderungen an den Beweiswert ärztlicher Berichte und Gutachten (vgl. <ref-ruling> E. 5.1 S. 232)
1.3. Die Beweiswürdigung des kantonalen Gerichts, einschliesslich der antizipierten Schlussfolgerung, wonach keine weiteren medizinischen Abklärungen erforderlich sind, beschlägt Fragen tatsächlicher Natur und ist daher für das Bundesgericht grundsätzlich bindend. Eine Bindungswirkung fehlt, wenn die Beweiswürdigung willkürlich ist, was nicht bereits dann zutrifft, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre, sondern erst, wenn der Entscheid offensichtlich unhaltbar ist, zur tatsächlichen Situation in klarem Widerspruch steht oder auf einem offenkundigen Fehler beruht (<ref-ruling> E. 2b S. 56; vgl. auch <ref-ruling> E. 1.3 S. 4 f).
2.
Streitig und - im Rahmen der dargelegten Kognition - zu prüfen ist der Anspruch des Versicherten auf eine Invalidenrente.
2.1. Das kantonale Gericht hat die massgeblichen Rechtsgrundlagen, unter Berücksichtigung der intertemporalrechtlichen Fragen, die sich aufgrund der am 1. Januar 2008 im Rahmen der 5. IV-Revision erfolgten Rechtsänderungen stellen, zutreffend wiedergegeben. Es betrifft dies insbesondere die Bestimmungen und Grundsätze zum Begriff der Arbeitsunfähigkeit (<ref-law>), der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), namentlich auch bei psychischen Gesundheitsschäden (<ref-ruling> E. 1.2 S. 50 mit Hinweisen), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (<ref-law>), sowie zur Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der allgemeinen Methode des Einkommensvergleichs (<ref-law> und <ref-law>). Gleiches gilt für die Rechtsprechung zur Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (vgl. auch <ref-ruling> E. 4 S. 99 f.) sowie zum Beweiswert und zur Würdigung ärztlicher Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Darauf wird verwiesen.
2.2. Ebenfalls richtig dargelegt hat die Vorinstanz die Rechtsprechung, wonach Adipositas grundsätzlich keine zu Rentenleistungen berechtigende Invalidität bewirkt, wenn sie nicht körperliche oder geistige Schäden verursacht und nicht die Folge von solchen Schäden ist. Liegen diese Voraussetzungen nicht vor, muss sie unter Berücksichtigung der besonderen Gegebenheiten des Einzelfalles dennoch als invalidisierend betrachtet werden, wenn sie weder durch geeignete Behandlung noch durch zumutbare Gewichtsabnahme auf ein Mass reduziert werden kann, bei welchem das Übergewicht in Verbindung mit allfälligen Folgeschäden keine voraussichtlich bleibende oder längere Zeit dauernde Beeinträchtigung der Erwerbsfähigkeit bzw. der Betätigung im bisherigen Aufgabenbereich zur Folge hat (SVR 2010 IV Nr. 8 S. 25, 9C_48/2009 E. 2.3; ZAK 1984 S. 345, I 583/82 E. 3; Urteil 8C_496/2012 vom 19. September 2012 E. 2.2 mit Hinweisen).
3.
3.1. Das kantonale Gericht hat nach Wiedergabe der medizinischen Aktenlage gestützt auf das als ausschlaggebend erachtete Gutachten des medizinischen Zentrums X._ vom 4. Dezember 2010 festgestellt, dass der Beschwerdeführer in somatischer Hinsicht in erster Linie unter einer morbiden Adipositas Grad III leide, wobei der körperliche Befund keine organischen Auffälligkeiten und Ausfälle bzw. keinen strukturellen relevanten Schaden oder ein funktionelles Defizit zeige. Entsprechend dem rheumatologischen Teilgutachten des medizinischen Zentrums X._ (vom 4. November 2010) ging sie davon aus, dass dem Beschwerdeführer sämtliche Tätigkeiten ohne repetitives Gewichtheben über 20 kg respektive monotone Arbeitsstellungen in flektierter LWS-Stellung vollzeitig zumutbar sind. Die Frage nach der Arbeitsfähigkeit aus somatischer Sicht in der angestammten Tätigkeit als Elektroinstallateur und Geschäftsführer - die in den Arztberichten unterschiedlich beurteilt worden war - sowie die Frage, ob dem Versicherten allenfalls eine Gewichtsreduktion als schadenmindernde Massnahme zumutbar wäre, hat sie offen gelassen. In psychischer Hinsicht verneinte sie gestützt auf das psychiatrische Teilgutachten der Dr. med. Z._, Fachärztin FMH für Allgemeine Medizin und Psychiatrie im medizinischen Zentrum X._, vom 4. Dezember 2010 das Vorliegen einer psychischen Störung mit Auswirkung auf die Arbeitsfähigkeit. Ausgehend von dieser verbliebenen Arbeitsfähigkeit resultierte im Rahmen der Invaliditätsbemessung mittels Einkommensvergleich ein trotz Gesundheitsschaden zumutbarerweise erzielbares Einkommen (Invalideneinkommen) von Fr. 57'969.85, was im Vergleich zum ohne Gesundheitsschaden erzielbaren Einkommen (Valideneinkommen) von Fr. 83'846.55 einen Invaliditätsgrad von gerundet 31 % ergab.
3.2. Was der Beschwerdeführer in somatischer Hinsicht vorbringt, ist nicht geeignet, die vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig bzw. deren Beweiswürdigung als willkürlich (vgl. E. 1.2) erscheinen zu lassen. Insbesondere hat das kantonale Gericht die relevante medizinische Aktenlage vollständig und richtig dargelegt und zwar knapp aber schlüssig begründet, inwiefern es die Beurteilung der Arbeitsfähigkeit aus somatischer Sicht im Gutachten des medizinischen Zentrums X._ als massgebend erachtet. Entgegen den Einwendungen des Beschwerdeführers hat die Vorinstanz nicht unkritisch auf das Gutachten des medizinischen Zentrums X._ abgestellt. Vielmehr hat sie sich mit der Einschätzung der zumutbaren Leistungsfähigkeit im Gutachten kritisch auseinandergesetzt und die darin enthaltene Einschätzung einer zumutbaren vollzeitigen Tätigkeit als selbstständiger Elektromonteur mit Blick auf die Ausführungen der behandelnden Ärzte als zumindest fraglich beurteilt. Indem die Vorinstanz gestützt auf das Gutachten des medizinischen Zentrums X._ davon ausging, dass aufgrund der morbiden Adipositas keine relevanten strukturellen funktionellen Defizite resultieren, kann ihr keine willkürliche Sachverhaltsfeststellung vorgeworfen werden. Strukturelle Schäden und funktionelle Defizite, die sich auf die Arbeitsfähigkeit in einer angepassten Tätigkeit auswirken würden, sind denn auch den übrigen medizinischen Berichten nicht zu entnehmen. Wenn der Beschwerdeführer die vorinstanzliche Annahme, wonach die Dres. med. D._, S._ und W._ weitgehend mit der Einschätzung der physischen Belastbarkeit im rheumatologischen Teilgutachten des medizinischen Zentrums X._ übereinstimmen würden, als aktenwidrig und damit willkürlich rügt, kann ihm nicht gefolgt werden. So hat zwar Dr. med. D._, Facharzt Chirurgie FMH, die Frage der zumutbaren behinderungsangepassten Tätigkeit unter Hinweis auf die Notwendigkeit weiterer psychischer Abklärungen nicht beantwortet. Allerdings ist der physische Belastungsumfang seiner medizinischen Beurteilung zur Arbeitsbelastbarkeit zu entnehmen und entspricht weitgehend der Einschätzung im medizinischen Zentrum X._. Zudem stellte auch er beim körperlichen Befund keine organischen Auffälligkeiten und Ausfälle fest. Bei der Einschätzung der Ärztin Dr. med. S._, wonach auch in behinderungsangepassten Tätigkeiten keine Arbeitsfähigkeit mehr gegeben sei, haben nach deren eigenen Angaben ausgeprägte psychosoziale Belastungsfaktoren einen erheblichen Einfluss, welche iv-rechtlich nicht zu berücksichtigen sind. Entgegen den Vorbringen des Beschwerdeführers bezieht sich die Aussage des Dr. med. W._, Facharzt FMH für Allgemeinmedizin, im Bericht vom 28. November 2010 zur Arbeitsfähigkeit nicht auf alle körperlichen Tätigkeiten, sondern auf die angestammte Tätigkeit, womit sich daraus nichts Abweichendes ableiten lässt. Gleiches gilt für PD Dr. med. B._ und Dr. med. A._, Klinik Y._, die sich im Bericht vom 21. Juli 2009 lediglich zur Zumutbarkeit der bisherigen Tätigkeit äusserten. Mit Blick auf diese Ausgangslage ist die vorinstanzliche Sachverhaltsfeststellung, wonach dem Beschwerdeführer sämtliche Tätigkeiten ohne repetitives Gewichtheben über 20 kg respektive monotone Arbeitshaltungen in flektierter LWS-Stellung vollzeitig zumutbar sind, nicht offensichtlich unrichtig oder bundesrechtsverletzend und mithin für das Bundesgericht bindend.
3.3. Was die geltend gemachten psychischen Beschwerden betrifft, ist die Vorinstanz nach Würdigung der Akten zum Schluss gelangt, dass der Versicherte nicht an einer von der soziokulturellen Belastungssituation zu unterscheidenden und in diesem Sinne verselbstständigten psychischen Störung mit Auswirkung auf die Arbeits- und Erwerbsfähigkeit beziehungsweise an einer psychischen Beeinträchtigung leide, die er nicht bei Aufbietung allen guten Willens, die verbleibende Leistungsfähigkeit zu verwerten, abwenden könnte. Sie stützte sich dabei auf das psychiatrische Teilgutachten im medizinischen Zentrum X._, dem sie vollen Beweiswert zumass (BGE <ref-ruling> V E. 3a S. 352). Dies ist nicht zu beanstanden. Die Einwendungen des Beschwerdeführers sind nicht geeignet, eine offensichtliche Unrichtigkeit der betreffenden Schlussfolgerungen des kantonalen Gerichts aufzuzeigen. Die Vorinstanz hat nachvollziehbar begründet, weshalb sie die Beurteilung im psychiatrischen Teilgutachten des medizinischen Zentrums X._ durch Dr. med. Z._, wonach keine psychiatrische Diagnose mit Auswirkung auf die Arbeitsfähigkeit vorliege, als schlüssig erachtet und ihr beweismässig höheres Gewicht beimisst als den vorangehenden medizinischen Akten. Insbesondere hat sie zutreffend festgestellt, dass auch der Psychiater Dr. med. O._, im Rahmen des im erstinstanzlichen Verfahren eingereichten Berichts vom 8. Juli 2011, in Übereinstimmung mit Dr. med. Z._ und entgegen den vorgängigen medizinischen Einschätzungen, keine depressive Störung und keine Zwangsstörung gemäss ICD-10 erkennen konnte. Auf die diesbezüglichen umfangreichen Einwendungen des Beschwerdeführers ist nicht weiter einzugehen. Überdies ist aufgrund der Akten erstellt, dass erhebliche invaliditätsfremde psychosoziale Belastungsfaktoren (Scheidung, Überforderung mit eigenem Geschäft, Trennung vom Geschäftspartner, Probleme finanzieller Natur) eine Rolle spielen. Selbst wenn schliesslich, wie die Vorinstanz zu Recht erwog, von der von Dr. med. O._ in Abweichung zum Gutachten des medizinischen Zentrums X._ diagnostizierten Neurasthenie sowie anankastischen Persönlichkeitsstörung ausgegangen würde, würde es an den analog der somatoformen Schmerzstörung rechtsprechungsgemäss erforderlichen Kriterien (<ref-ruling> E. 4.2.2 S. 71 mit Hinweisen, vgl. ferner <ref-ruling> E. 3.2.1 S. 282), welche ausnahmsweise eine invalidisierende Arbeitsunfähigkeit zu begründen vermöchten, fehlen. So kann entgegen dem Beschwerdeführer bei der von Dr. med. O._ beschriebenen Persönlichkeitsstörung nicht von einer psychischen Komorbidität von erheblicher Schwere, Ausprägung und Dauer (<ref-ruling> E. 1.2 S. 50) gesprochen werden. Chronische körperliche Begleiterkrankungen sind ebenfalls zu verneinen, nachdem aufgrund der morbiden Adipositas keine relevanten strukturellen Defizite resultieren (vgl. E. 3.2 hievor). Entgegen dem Beschwerdeführer ist den Akten sodann nicht zu entnehmen, dass trotz jahrelanger konstanter Therapie keine namhafte Besserung eingetreten ist und heute ein verfestigter, therapeutisch nicht mehr beeinflussbarer innerseelischer Verlauf vorliegt. Zwar hat in Abweichung zur Vorinstanz eine regelmässige psychotherapeutische Betreuung stattgefunden, allerdings kann mit Blick auf die medizinische Aktenlage nicht vom Ausschöpfen der möglichen psychotherapeutischen Massnahmen respektive vom Scheitern einer konsequent durchgeführten ambulanten oder stationären Behandlung (auch mit unterschiedlichem therapeutischem Ansatz) trotz kooperativer Haltung ausgegangen werden. Obwohl gemäss fachärztlicher Einschätzung gewisse Rückzugstendenzen bestehen, ist ein sozialer Rückzug in allen Bereichen des Lebens ebenfalls nicht gegeben. So hat sich der Beschwerdeführer unbestrittenermassen im Frühling 2010 trotz geltend gemachter gesundheitlicher Probleme mit Erfolg zur Wiederwahl als Gemeinderat der Stadt C._ gestellt, wo er seit 2006 aktiv ist. Ein iv-rechtlich relevanter Gesundheitsschaden ist mithin nicht erstellt. Von der beantragten Einholung eines psychiatrischen Obergutachtens ist bei dieser Ausgangslage abzusehen, da davon keine neuen Erkenntnisse zu erwarten sind (antizipierte Beweiswürdigung; <ref-ruling> E. 5.2 S. 69).
3.4. Nachdem somit feststeht, dass die Adipositas weder körperliche noch geistige Schäden verursacht hat noch Folge eines bereits bestehenden Gesundheitsschadens darstellt und eine vollständige Arbeitsfähigkeit in einer angepassten Tätigkeit gegeben ist, ist nicht zu beanstanden, dass die Vorinstanz die Frage, ob die Adipositas durch eine geeignete Behandlung oder zumutbare Anstrengung auf ein Mass reduziert werden könnte, das die Erwerbsfähigkeit nicht wesentlich beeinträchtigt (vgl. E. 2.2), offen gelassen hat.
4.
Zu prüfen bleibt mithin die anhand der Einkommensvergleichsmethode erfolgte Invaliditätsbemessung. Streitig ist dabei einzig die Bestimmung des hypothetischen Invalideneinkommens.
4.1. Die Vorinstanz ist aufgrund der jahrelang gleichen Tätigkeit und des fortgeschrittenen Alters des Versicherten in Anwendung der Tabelle TA1 der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE) 2004 von einem durchschnittlichen monatlichen Bruttoeinkommen, Totalwert für Männer, Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) im privaten Sektor von Fr. 4'588.- ausgegangen und hat unter Berücksichtigung der betriebsüblichen wöchentlichen Arbeitszeit von 41,7 Stunden und der Nominallohnentwicklung 2004/05 ein Invalideneinkommen von Fr. 57'969.85 errechnet. Einen Abzug vom Tabellenlohn verneinte sie mit der Begründung, dass allfälligen persönlichen und beruflichen Merkmalen, welche Auswirkungen auf die Lohnhöhe hätten, hinreichend Rechnung getragen worden sei.
4.2. Der Beschwerdeführer beanstandet die Einreihung in das Anforderungsniveau 4, welche ihm aufgrund seines bisherigen Werdeganges mit einer qualifizierten Ausbildung und eigenem Geschäft nicht zumutbar sei, und dass kein Abzug vom Tabellenlohn erfolgte. Allein das fortgeschrittene Alter (59 Jahre) sowie die fehlende bzw. lang zurückliegende Erfahrung in einem Angestelltenverhältnis würden einen Leidensabzug von mindestens 20 % rechtfertigen. Dieser Einwand vermag keine Bundesrechtswidrigkeit zu begründen. Zum einen ist eine separate Berücksichtigung des Alters nicht angebracht. So wirkt sich das fortgeschrittene Alter im Bereich der Hilfsarbeiten auf dem hypothetisch ausgeglichenen Arbeitsmarkt grundsätzlich nicht zwingend lohnsenkend aus (vgl. Urteil 8C_498/2012 vom 6. September 2012 E. 3.1 mit Hinweis). Zum andern wurde mit der Einreihung im Anforderungsniveau 4 dem Umstand der lange zurückliegenden Erfahrung in einem Angestelltenverhältnis Rechnung getragen. Damit hat es beim Invalideneinkommen von Fr. 57'969.85 sein Bewenden. Mithin hat die Vorinstanz in Gegenüberstellung mit dem unbestrittenen Valideneinkommen von Fr. 83'846.55 zu Recht einen rentenausschliessenden Invaliditätsgrad von gerundet 31 % errechnet. Die Beschwerde ist abzuweisen.
5.
Bei diesem Ausgang des Verfahrens hat der Beschwerdeführer die Gerichtskosten zu tragen (<ref-law>). Dem für das bundesgerichtliche Verfahren gestellten Gesuch um Gewährung der unentgeltlichen Rechtspflege (Befreiung von den Gerichtskosten und unentgeltliche Verbeiständung) kann mangels Bedürftigkeit nicht entsprochen werden (<ref-law>; <ref-ruling> E. 2.5 S. 232 mit Hinweisen; SVR 2010 IV Nr. 10 S. 31, 9C_13/2009 E. 8.2). Wie den Angaben vom 6. Juni 2013 auf dem eingeholten "Erhebungsbogen für die unentgeltliche Rechtspflege" zu entnehmen ist, verfügt der Beschwerdeführer nebst kleineren Konten bei der Bank E._ im Gesamtbetrag von Fr. 3'108.- über ein Privatkonto bei der Bank F._ von Fr. 52'681.40. Abzüglich der bezahlten Prämiennachzahlung an die Versicherung G._ von Fr. 26'307.20 resultiert ein liquides Vermögen von Fr. 29'482.20. Ohne weitergehende Berechnung des Notbedarfs kann vorliegend davon ausgegangen werden, dass dies genügt, um die Prozesskosten in vernünftiger Frist zu bezahlen (Pra 2006 Nr. 143 S. 987, 5P.441/2005; Urteil 8C_758/2009 vom 12. Februar 2010 E. 4 mit Hinweis).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3.
Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 13. Juni 2013
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Leuzinger
Die Gerichtsschreiberin: Weber Peter