Sachverhalt:
A.
A.a. Die IV-Stelle des Kantons Zürich sprach A._ mit Verfügung vom 26. Oktober 2004 aufgrund einer schweren depressiven Entwicklung nach Kündigung, bei Selbstwert-, Beziehungs- und Autoritätsproblematik, mit der Tendenz zum Stottern in Belastungssituationen und zu psychosomatischer bzw. somatoformer und paranoider Verarbeitung sowie latenter Suizidalität und damit einhergehender 50%iger Arbeitsunfähigkeit rückwirkend ab September 2004 auf der Basis eines Invaliditätsgrads von 65 % eine Dreiviertelsrente zu.
A.b. Diesen Rentenanspruch bestätigte die IV-Stelle in der Folge mit den Mitteilungen vom 8. Januar 2008 und 8. Januar 2010 (vgl. auch Gutachten des Medizinischen Zentrums Römerhof [MZR], Zürich, vom 12. November 2009). Zudem trat die Verwaltung auf ein Rentenerhöhungsgesuch von A._ am 13. September 2012 nicht ein.
A.c. Anfang 2014 leitete die IV-Stelle eine Rentenüberprüfung in die Wege und tätigte dabei verschiedene Abklärungen, insbesondere holte sie Berichte der behandelnden Ärzte (u.a. Berichte des Spitals B._ vom 3. August 2015 und des Rehazentrums C._ vom 28. Dezember 2015) ein. Zudem liess sie A._ durch die Dres. med. D._, Facharzt FMH für Innere Medizin und Rheumaerkrankungen, und E._, Facharzt FMH für Psychiatrie und Psychotherapie, begutachten, wobei diese im Gutachten vom 26. November 2014 eine uneingeschränkte Arbeitsfähigkeit attestierten. Nachdem berufliche Wiedereingliederungsmassnahmen gescheitert waren, verfügte die IV-Stelle, nach Durchführung des Vorbescheidverfahrens, am 1. Juni 2016 die Rentenaufhebung.
B.
Die dagegen erhobene Beschwerde, womit der Beschwerdeführer insbesondere die Berichte des Sanatoriums F._ vom 6. Juni 2016 und 14. November 2017 einreichen liess, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 20. Dezember 2017 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Anträgen, der vorinstanzliche Entscheid sei aufzuheben, und ihm seien die gesetzlichen Leistungen gemäss IVG zu erbringen. Eventualiter sei die Angelegenheit an die IV-Stelle zur weiteren Sachverhaltsabklärung zurückzuweisen.
Die IV-Stelle beantragt die Abweisung der Beschwerde.

Erwägungen:
1.
1.1. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
1.2. Die gestützt auf medizinische Akten gerichtlich festgestellte Arbeitsfähigkeit ist eine Tatfrage (<ref-ruling> E. 3.2 S. 397 ff.). Rechtsfragen stellen demgegenüber die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, <ref-law>) und der Anforderungen an den Beweiswert von Arztberichten dar (<ref-ruling> E. 2 S. 25; <ref-ruling> E. 3.2 und 4 S. 397 ff.; Urteile 9C_711/2015 vom 21. März 2016 E. 1.1 mit Hinweisen und I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen).
2.
2.1. Streitig und zu prüfen ist, ob das kantonale Gericht Bundesrecht verletzt hat, indem es die durch die Beschwerdegegnerin am 1. Juni 2016 verfügte revisionsweise Rentenaufhebung bestätigte.
2.2. Die Vorinstanz hat insbesondere die Bestimmungen über die Revision einer Invalidenrente (<ref-law>, <ref-law>) unter Hinweis auf die Rechtsprechung (<ref-ruling> E. 3.5 S. 349 ff.; <ref-ruling>) zutreffend dargelegt. Darauf wird verwiesen.
3.
3.1. Das kantonale Gericht erwog, auf das Gutachten der Dres. med. D._ und E._ vom 26. November 2014 könne abgestellt werden. Es erfülle die Anforderungen an den Beweiswert medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232; <ref-ruling> E. 3a S. 352). Aus dem Bericht des Spitals B._ vom 3. August 2015 gehe im Vergleich zu diesem Gutachten keine wesentliche Änderung der gesundheitlichen Situation hervor. Bei der vom Spital B._ bescheinigten 80%igen Arbeitsfähigkeit in einer angepassten Tätigkeit handle es sich lediglich um eine unterschiedliche Beurteilung der Auswirkungen eines im Wesentlichen unveränderten Gesundheitszustands. In psychiatrischer Hinsicht hätten sich die gesundheitlichen Verhältnisse des Beschwerdeführers verbessert. Im MZR-Gutachten vom 12. November 2009 sei ein mittelgradig depressives Zustandsbild diagnostiziert worden, wohingegen gemäss den gutachterlichen Ausführungen vom 26. November 2014 lediglich noch eine Dysthymie bestehe. Der Austrittsbericht des Sanatoriums F._ vom 6. Juni 2016 weise zwar - wohl auch im Zusammenhang mit der in Aussicht gestellten Rentenaufhebung - auf eine Verschlechterung der depressiven Symptomatik nach Erlass des Vorbescheids. Wesentlich sei aber, dass im Verfügungszeitpunkt vom 1. Juni 2016 - sechs Wochen nach Klinikeintritt am 22. April 2016 - noch nicht von einer stabilen bzw. anhaltenden Verschlechterung ausgegangen werden könne. Der vorläufige Austrittsbericht des Sanatoriums F._ vom 14. November 2017, worin über den stationären Aufenthalt vom 6. Oktober bis 15. November 2017 berichtet werde, sei im vorliegenden Verfahren nicht zu berücksichtigen, da die Verfügung vom 1. Juni 2016 das Verwaltungsverfahren abgeschlossen habe. Alsdann prüfte das kantonale Gericht, ob das Gutachten vom 26. November 2014 vor der Rechtsprechung gemäss <ref-ruling>, 143 V 409 und <ref-ruling> standhalte und bejahte dies.
3.2. Der Beschwerdeführer bringt dagegen vor, die Berichte des Spitals B._ vom 3. August 2015, des Rehazentrums C._ von November 2015 und des Sanatoriums F._ vom 24. Mai 2016 seien bei der rechtlichen Würdigung zu berücksichtigen. Ihnen könne entnommen werden, dass er an einer depressiven Störung, mittel- bis schwergradig, leide und diese einen erheblichen Einfluss auf seine Arbeitsfähigkeit habe. Diese Tatsache sei von Beschwerdegegnerin und Vorinstanz ignoriert worden. Zudem sei auch der neuen Rechtsprechung zur Invalidität bei psychischen Leiden nicht hinreichend Rechnung getragen worden.
3.3.
3.3.1. Die Vorinstanz mass dem im Revisionsverfahren eingeholten rheumatologischen Teilgutachten des Dr. med. D._ vom 26. November 2014 Beweiswert zu und stellte fest, der Bericht des Spitals B._ vom 3. August 2015, worin eine 80%ige Arbeitsfähigkeit in einer angepassten Tätigkeit attestiert werde, beinhalte lediglich eine andere Beurteilung eines im Wesentlichen gleich gebliebenen Gesundheitszustands. Dies zeige sich daran, dass sich die degenerativen Veränderungen seit 2012 nicht verändert hätten und im Vergleich zum Bericht des Spitals B._ von 2012 keine wesentlich neuen Diagnosen und Befunde vorlägen.
Das kantonale Gericht setzte sich somit eingehend mit der abweichenden Einschätzung des Spitals B._ auseinander und legte dar, weshalb dieses keinen Zweifel am rheumatologischen Teilgutachten des Dr. med. D._ zu wecken vermag und daher darauf abgestellt werden kann. Indem der Beschwerdeführer rügt, die Einschätzungen des Spitals B._ und des Rehazentrums C._ seien von neutralen Fachpersonen verfasst worden und daher zu berücksichtigen, zeigt er nicht auf, inwiefern die vorinstanzliche Sachverhaltsfeststellung offensichtlich unrichtig ist. Insbesondere lässt es die unterschiedliche Natur von Behandlungsauftrag des therapeutisch tätigen (Fach-) Arztes einerseits und Begutachtungsauftrag des amtlich bestellten fachmedizinischen Experten andererseits (<ref-ruling> E. 4 S. 175) nicht zu, ein Administrativgutachten stets in Frage zu stellen und zum Anlass weiterer Abklärungen zu nehmen, wenn die behandelnden Ärzte zu anderslautenden Einschätzungen gelangen (vgl. statt vieler: SVR 2008 IV Nr. 15 S. 43, I 514/06 E. 2.1.1; Urteile 8C_790/2011 vom 30. März 2012 mit Hinweisen und 8C_278/2011 vom 26. Juli 2011).
3.3.2. Die Vorinstanz prüfte auch den Beweiswert des psychiatrischen Teilgutachtens des Dr. med. E._ vom 26. November 2014 und bejahte diesen. Dem ist beizupflichten. Es erfüllt die beweismässigen Anforderungen und überzeugt auch vor dem Hintergrund, dass nun sämtliche psychischen Erkrankungen einem strukturierten Beweisverfahren nach <ref-ruling> zu unterziehen sind (<ref-ruling>; <ref-ruling>). Es kann auf die Prüfung der Standardindikatoren durch das kantonale Gericht verwiesen werden. Der Einwand des Beschwerdeführers, die erwähnte neue Rechtsprechung sei ignoriert worden, trifft nicht zu.
Weiter stellte die Vorinstanz aufgrund der ihr vorliegenden Akten zutreffend fest, aus dem Bericht des Sanatoriums F._ vom 6. Juni 2016 betreffend die Hospitalisation vom 22. April bis 26. Mai 2016 ergäben sich Hinweise für eine nach der Begutachtung durch Dr. med. E._ eingetretene Verschlechterung. Was das kantonale Gericht aus dem Umstand, dieser Bericht habe der IV-Stelle noch nicht vorgelegen, ableiten will, ist nicht ersichtlich. Massgebend ist der Sachverhalt, wie er sich bis zur streitigen Revisionsverfügung vom 1. Juni 2016 entwickelte (<ref-ruling> E. 1.2 S. 446; <ref-ruling> E. 1 S. 169). Berichte, die sich über diesen Zeitraum aussprechen, sind - auch wenn sie erst nach dem Verfügungserlass datieren - zu berücksichtigen (<ref-ruling> E. 2.1 S. 243 f.; RKUV 2001 Nr. U 419 S. 101, U 170/00 E. 2). Entgegen der Auffassung des kantonalen Gerichts ist ebenfalls nicht relevant, dass die vom Sanatorium F._ dargelegte Veränderung der Verhältnisse im Verfügungszeitpunkt am 1. Juni 2016 noch nicht stabil und anhaltend erschien, dies umso mehr, als aufgrund der weiteren Akten nicht nur von einer kurzen und lediglich vorübergehenden Verschlechterung ausgegangen werden kann. Wie dem Bericht des Sanatoriums F._ vom 14. November 2017 zu entnehmen ist, wurde der Beschwerdeführer vom 6. Oktober bis 15. November 2017 erneut stationär behandelt und dies bei gleicher Diagnose (schwere depressive Episode ohne psychotische Symptome) wie im April/Mai 2016. Der letztgenannte Bericht bezieht sich zwar nicht direkt auf den Gesundheitszustand, wie er im Verfügungszeitpunkt vorlag. Er ist hier aber dennoch zu beachten, da er einen ersten Anhaltspunkt liefert, von welcher Intensität und Dauer die ab April/Mai 2016 eingetretene Verschlechterung ist. Insoweit besteht ein hinreichend enger sachlicher Zusammenhang zum Anfechtungsgegenstand.
Indem die Vorinstanz den Sachverhalt nicht weiter abklärte, obwohl nach der Begutachtung durch Dr. med. E._ vom 26. November 2014 und vor dem 1. Juni 2016 (Verfügungszeitpunkt) Hinweise vorlagen, die auf eine Verschlechterung hindeuteten, verletzte sie den Untersuchungsgrundsatz (<ref-law>).
3.4. Das kantonale Gericht hat den Sachverhalt betreffend dieser Verschlechterung weiter abzuklären, indem es Dr. med. E._ Ergänzungsfragen unterbreitet und/oder den Beschwerdeführer erneut begutachten lässt.
4.
Die Rückweisung der Sache an die Vorinstanz (mit noch offenem Ausgang) gilt für die Frage der Auferlegung der Gerichtskosten wie auch der Parteientschädigung als vollständiges Obsiegen im Sinne von <ref-law> sowie <ref-law>, unabhängig davon, ob sie beantragt oder ob das entsprechende Begehren im Haupt- oder im Eventualantrag gestellt wird (<ref-ruling> E. 6.1 S. 235; u.a. Urteil 9C_309/2017 vom 13. Juli 2017 E. 5 mit Hinweisen). Demgemäss sind die Gerichtskosten der Beschwerdegegnerin zu überbinden und sie hat dem anwaltlich vertretenen Beschwerdeführer eine Parteientschädigung auszurichten.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 20. Dezember 2017 aufgehoben. Die Sache wird zu neuer Entscheidung an die Vorinstanz zurückgewiesen. Im Übrigen wird die Beschwerde abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdegegnerin auferlegt.
3.
Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 16. April 2018
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Möckli