Sachverhalt:
A.
Der am 24. April 1950 geborene und am 11. März 1983 in die Schweiz eingereiste P._ war bis 31. Juli 2002 (letzter Arbeitstag: 31. Januar 2002) bei der Firma B._ als Maler angestellt. Am 16. September 2003 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an, wobei er als Behinderung unter anderem Rückenschmerzen und Depression angab. Die IV-Stelle des Kantons Zürich tätigte Abklärungen in medizinischer und erwerblicher Hinsicht, insbesondere holte sie ein polydisziplinäres Gutachten des Zentrums für Medizinische Begutachtung (ZMB) vom 19. Oktober 2004 ein. Am 18. November 2004 teilte sie P._ mit, sie habe die Ausrichtung einer ganzen Rente beschlossen, worüber er eine separate Verfügung erhalte. Gleichzeitig forderte sie ihn zur Durchführung einer stationären Psychotherapie auf, dies unter Androhung, dass ansonsten die IV-Rente vorübergehend aufgehoben oder dauernd entzogen werden könnte. Mit Verfügungen vom 3. Februar 2005, auf Grund neuer Berechnungsgrundlagen im Zusammenhang mit der Invalidenrente seiner Ehefrau ersetzt durch Verfügungen vom 16. Juni 2005, sprach die IV-Stelle P._ mit Wirkung ab 1. Februar 2003 eine ganze Rente der Invalidenversicherung gestützt auf einen Invaliditätsgrad von 70 % zu.
Mit Verfügung vom 3. Januar 2007 stellte die IV-Stelle die Rentenzahlung wegen Verletzung der Mitwirkungspflicht per sofort ein. In der Folge veranlasste sie ein psychiatrisches Gutachten des Dr. med. C._, Facharzt Psychiatrie und Psychotherapie FMH, vom 27. Juni 2007. Mit Verfügung vom 15. November 2007 sprach die IV-Stelle Zürich P._ rückwirkend ab 1. Januar 2007 erneut eine ganze Invalidenrente bei einem Invaliditätsgrad von 100 % zu.
Im Rahmen einer Rentenrevision zog die IV-Stelle weitere Arztberichte bei und holte ein bidisziplinäres Gutachten des medizinischen Begutachtungsinstituts X._ vom 7. Januar 2010 sowie eine ergänzende Stellungnahme vom 2. März 2010 ein. In der Folge veranlasste die IV-Stelle ein weiteres orthopädisch-psychiatrisches Gutachten des ärztlichen Abklärungszentrums Y._ vom 23. November 2010. Gestützt darauf stellte die IV-Stelle mit Vorbescheid vom 31. Januar 2011 die Herabsetzung der ganzen Rente auf eine Viertelsrente in Aussicht, wogegen P._ am 6. April 2011 Einwand erhob. Mit Verfügung vom 9. Juni 2011 sprach die IV-Stelle ihm eine Viertelsrente ab 1. August 2011 zu.
B.
Die hiegegen erhobene Beschwerde mit dem Antrag auf Weiterausrichtung einer ganzen Rente wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 18. September 2012 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt P._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei ihm weiterhin eine ganze Rente der Invalidenversicherung auszurichten.
Während die IV-Stelle des Kantons Zürich auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.

Erwägungen:
1.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.2 S. 252 mit Hinweisen; <ref-ruling> E. 2.2 S. 550; <ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
2.
Die Vorinstanz hat die für die hier im Streit liegende Herabsetzung von Leistungen der Invalidenversicherung massgeblichen materiell- und beweisrechtlichen Grundlagen gemäss Gesetz und Rechtsprechung zutreffend dargelegt. Dies betrifft namentlich die Bestimmungen und Grundsätze zu den Begriffen der Invalidität (<ref-law>, <ref-law>), der Erwerbsfähigkeit (<ref-law>) und dem Umfang des Rentenanspruchs (<ref-law>; bis 31. Dezember 2007: <ref-law>), zur Rentenrevision und zum dabei massgebenden Vergleichszeitraum (<ref-law> in Verbindung mit <ref-law>; <ref-ruling> E. 3 S. 132 mit Hinweisen; <ref-ruling> E. 5 S. 110 ff.; <ref-ruling> E. 3b S. 199) sowie zu den Anforderungen an beweiskräftige medizinische Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352 mit Hinweis). Darauf wird verwiesen. Zu ergänzen ist, dass gemäss <ref-law> für die Bestimmung des Invaliditätsgrades das Erwerbseinkommen, das die versicherte Person nach Eintritt der Invalidität und nach Durchführung der medizinischen Behandlung und allfälliger Eingliederungsmassnahmen durch eine ihr zumutbare Tätigkeit bei ausgeglichener Arbeitsmarktlage erzielen könnte, in Beziehung gesetzt wird zum Erwerbseinkommen, das sie erzielen könnte, wenn sie nicht invalid geworden wäre.
3.
Das kantonale Gericht hielt mit der IV-Stelle ein zusätzliches Gutachten des ärztlichen Abklärungszentrums Y._ vom 23. November 2010 für angebracht, da das Gutachten des medizinischen Begutachtungsinstituts X._ vom 7. Januar 2010 in psychiatrischer Hinsicht nicht beweiskräftig war. Es sprach dem neuen Gutachten vollen Beweiswert zu und bestätigte die gestützt darauf erfolgte Aufhebung der Invalidenrente durch die IV-Stelle, da eine Verbesserung des Gesundheitszustandes ausgewiesen sei.
Der Beschwerdeführer bestreitet den Eintritt einer gesundheitlichen Verbesserung und bringt insbesondere vor, beim Gutachten des ärztlichen Abklärungszentrums Y._ vom 23. November 2010 handle es sich um eine unzulässige second opinion, welche die IV-Stelle nicht mehr hätte einholen dürfen. Eventualiter macht er geltend, die Eingliederungsfrage sei durch die Verwaltung nicht geprüft worden.
4.
Die streitige Frage, ob sich der Gesundheitszustand des Beschwerdeführers im massgebenden Vergleichszeitraum zwischen der (nach der sofortigen Rentenaufhebung wegen Verletzung der Mitwirkungspflicht die Rente erneut zusprechenden) Verfügung vom 15. November 2007 bis zur angefochtenen Verfügung vom 9. Juni 2011 tatsächlich in anspruchsrelevanter Weise (<ref-law>; BGE <ref-ruling> E. 5.4 S. 114) verändert hat und die Vorinstanz dabei mit der IV-Stelle zu Recht auf das Gutachten des ärztlichen Abklärungszentrums Y._ vom 23. November 2010 abgestellt hat, kann offen gelassen werden. Denn, wie im Folgenden zu zeigen ist, ist die Bestätigung der Rentenherabsetzung durch das kantonale Gericht aus anderen Gründen bundesrechtswidrig:
5.
5.1. Nach dem Konzept von <ref-law> setzt eine rentenbestimmende Invaliditätsbemessung auch im Revisionsfall (<ref-law>) die Durchführung angezeigter Eingliederungsmassnahmen voraus. Dementsprechend muss der Eingliederungsbedarf vor einer Erhöhung, Herabsetzung oder Aufhebung der Rente anlässlich einer Leistungsrevision nach <ref-law> in gleicher Weise wie im Rahmen einer erstmaligen Invaliditätsbemessung abgeklärt werden. Ein Rentenanspruch dauert nur so lange an, wie die Erwerbsunfähigkeit nicht (oder noch nicht) mit geeigneten Eingliederungs- und Selbsteingliederungsmassnahmen tatsächlich behoben oder in einer für den Rentenanspruch erheblichen Weise verringert wird. Im Regelfall ist eine medizinisch attestierte Verbesserung der Arbeitsfähigkeit grundsätzlich auf dem Weg der Selbsteingliederung verwertbar. Ausnahmsweise können indes nach langjährigem Rentenbezug Erfordernisse des Arbeitsmarktes der Anrechnung einer medizinisch vorhandenen Leistungsfähigkeit und medizinisch möglichen Leistungsentfaltung entgegenstehen, wenn aus den Akten einwandfrei hervorgeht, dass die Verwertung eines bestimmten Leistungspotenzials ohne vorgängige Durchführung befähigender Massnahmen allein vermittels Eigenanstrengung der versicherten Person nicht möglich ist. Die Verwaltung muss sich daher im Sinne eines rechtslogisch gebotenen Schrittes vor der Herabsetzung oder Aufhebung einer Invalidenrente stets vergewissern, ob sich ein medizinisch-theoretisch wiedergewonnenes Leistungsvermögen ohne Weiteres in einem entsprechend tieferen Invaliditätsgrad niederschlägt oder ob dafür eine erwerbsbezogene Abklärung (der Eignung, Belastungsfähigkeit etc.) und/oder die Durchführung von Eingliederungsmassnahmen im Rechtssinne vorausgesetzt ist. Dieser Prüfungsschritt zeitigt, was in der weitaus überwiegenden Zahl von Revisionsfällen zutrifft, dort keine administrativen Weiterungen, wo die gegenüber der Eingliederung vorrangige Selbsteingliederung direkt zur rentenausschliessenden (oder -herabsetzenden) arbeitsmarktlichen Verwertbarkeit des wiedergewonnenen funktionellen Leistungsvermögens führt. Das ist namentlich der Fall, wenn bisher schon eine erhebliche Restarbeitsfähigkeit bestanden hat, sodass der anspruchserhebliche Zugewinn an Leistungsfähigkeit kaum zusätzlichen Eingliederungsbedarf nach sich zieht, vor allem, wenn das hinzugewonnene Leistungsvermögen in einer Tätigkeit verwertet werden kann, welche die versicherte Person bereits ausübt oder unmittelbar wieder ausüben könnte (SVR 2011 IV Nr. 30 S. 86, 9C_163/2009 E. 4.1 und 4.2.2). In SZS 2011 S. 71, 9C_768/2009 E. 4.1 wurde erkannt, dass sich, sofern sich bei einer Invalidenrentenrevision nach langjähriger Bezugsdauer keinerlei Anknüpfungspunkte für eine zumutbare Selbsteingliederung bieten, ein Aufhebungsentscheid, welchem keine Prüfung der Eingliederungsfrage vorangegangen ist, als bundesrechtswidrig erweist. Die genannten Grundsätze sind nach der mit Urteil 9C_228/22010 E. 3.3 und 3.4 vom 26. April 2011 erfolgten Präzisierung der Rechtsprechung indes auf Fälle zu beschränken, in denen die (revisions- oder wiedererwägungsweise) Herabsetzung oder Aufhebung der Invalidenrente eine versicherte Person betrifft, welche das 55. Altersjahr zurückgelegt oder die Rente seit mehr als 15 Jahren bezogen hat (vgl. auch Urteil 9C_128/2013 E. 4.1 vom 4. November 2013; Zusammenstellung der Rechtsprechung in: PETRA FLEISCHANDERL, Behandlung der Eingliederungsfrage im Falle der Revision einer langjährig ausgerichteten Invalidenrente in: SZS 2012, S. 360 ff.).
5.2. Der Beschwerdeführer war im Zeitpunkt der Herabsetzung der ganzen auf eine Viertelsrente am 9. Juni 2011 bereits 61 Jahre alt. Anknüpfungspunkte, dass beim Beschwerdeführer die Selbsteingliederungsfähigkeit trotz Erreichen der Altersgrenze von über 55 Jahren noch vorhanden wäre, wurden von der IV-Stelle nicht dargetan und sind vorliegend auch nicht ersichtlich. Der Beschwerdeführer ist schon seit 1. Februar 2002 nicht mehr erwerbstätig und bezieht seit 1. Februar 2003 eine Rente. Zwar ist es zutreffend, dass sich der Beschwerdeführer verschiedentlich nicht an entsprechende Weisungen und Auflagen der Beschwerdegegnerin gehalten hat, sich einer psychotherapeutischen Behandlung zu unterziehen. Jedoch wurde die am 3. Januar 2007 per sofort eingestellte Invalidenrente mit Verfügung vom 15. November 2007 ab Januar 2007 wieder rückwirkend zur Auszahlung gebracht. Eine Überwachung der Erfüllung der am 15. Oktober 2007 erneut auferlegten Schadenminderungspflicht in Form einer intensiven, regelmässigen psychiatrischen Facharztbehandlung erfolgte nicht. Daher kann daraus nicht abgeleitet werden, der Beschwerdeführer hätte mit geeigneten medizinischen Behandlungen bereits in einem viel früheren Zeitpunkt wieder seine höhere Arbeitsfähigkeit erreicht. Für ein solches Vorgehen hätte die Beschwerdegegnerin das Mahn- und Bedenkzeitverfahren gemäss <ref-law> in die Wege leiten müssen, was sie aktenkundig nicht getan hat, obwohl die Rente am 3. Januar 2007 wegen Verletzung der Mitwirkungspflicht per sofort eingestellt worden war, dann aber mit Verfügung vom 15. November 2007 rückwirkend wieder weiter ausbezahlt wurde. So war die am 3. November 2008 abgebrochene psychotherapeutische Behandlung beim Psychiatrischen Zentrum Z._ erst am 19. Mai 2008 aufgenommen worden, also erst mehrere Monate nach dem Hinweis vom 15. Oktober 2007. Von einer rechtskonformen Androhung der Rechtsfolgen, wie die Vorinstanz dies annimmt, kann beim Vorgehen der IV-Stelle nicht ausgegangen werden. Eine Selbsteingliederung war dem Beschwerdeführer im Zeitpunkt des Erlasses der Herabsetzungsverfügung vom 9. Juni 2011 deshalb nicht mehr zumutbar. Die IV-Stelle wäre daher verpflichtet gewesen, die Eingliederungsfrage zu prüfen.
5.3. Die Nichtprüfung der Eingliederung durch die IV-Stelle zieht grundsätzlich die Rückweisung der Sache an diese nach sich, damit entsprechende Massnahmen in die Wege geleitet werden können. Jedoch erweisen sich solche in der konkreten Situation, da der Beschwerdeführer mittlerweile bereits 63 Jahre alt ist, nicht angezeigt. Vielmehr ist auf Grund des fortgeschrittenen Alters des Beschwerdeführers, der zwei Jahre vor Erreichen des ordentlichen AHV-Alters steht, anzunehmen, dass er seine Arbeitsfähigkeit im ausgeglichenen Arbeitsmarkt nicht mehr verwerten kann, da gemäss bundesgerichtlicher Rechtsprechung (vgl. Urteil 9C_427/2010 vom 14. Juli 2010 E. 2.4 mit weiteren Hinweisen) in einer solchen Konstellation der grundsätzlich invaliditätsrechtlich nicht relevante Faktor Alter bei der Invaliditätsbemessung zu berücksichtigen ist, zumal hier eine langjährige Arbeitsabstinenz besteht und das Belastungsprofil der leidensangepassten Tätigkeit massgeblich eingeschränkt ist. Dies bedeutet, dass der Beschwerdeführer auch über den 1. August 2011 hinaus Anspruch auf eine ganze Invalidenrente hat.
6.
Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (<ref-law>). Der obsiegende Beschwerdeführer hat Anspruch auf eine Parteientschädigung (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 18. September 2012 und die Verfügung der IV-Stelle des Kantons Zürich vom 9. Juni 2011 werden aufgehoben.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. Dezember 2013
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kernen
Die Gerichtsschreiberin: Helfenstein