Sachverhalt:
A.
Der 1967 geborene A._ meldete sich am 21. Dezember 2011 nach einem rechtskräftig abgelehnten Leistungsbegehren (Einspracheentscheid der IV-Stelle vom 19. Mai 2005; Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 14. Juni 2006) erneut bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich liess A._ im Zuge ihrer Abklärungen u.a. polydisziplinär bei der MEDAS Interlaken GmbH, Unterseen, begutachten (Expertise vom 22. Januar 2013). Mit Schreiben vom 29. Mai 2013 forderte die IV-Stelle den Versicherten auf Empfehlung der Gutachter auf, sich im Rahmen seiner Schadenminderungspflicht einer stationären psychiatrischen Therapie zu unterziehen mit Optimierung der Pharmakotherapie und intensiver Psychotherapie, Reduktion und Absetzen der suchterzeugenden Arzneimittel; anschliessend habe er sich weiter tagesstationär behandeln zu lassen. In Umsetzung der schlussendlich vereinbarten tagesklinischen Behandlung trat A._ für sechs Wochen in die Tagesklinik B._ ein (Bericht vom 19. Juni 2014). Da keine Optimierung der Pharmakotherapie stattgefunden habe und keine Abstinenz von suchterzeugenden und anderen nicht angezeigten Substanzen dokumentiert sei und gemäss medizinischer Einschätzung der Gesundheitszustand durch eine stationäre Behandlung wesentlich verbessert werden könne, verlangte die IV-Stelle abermals eine stationäre Therapie, wozu der Versicherte nicht bereit war. Am 2. Juni 2016 wies sie verfügungsweise einen Anspruch auf Invalidenrente ab, da kein invalidisierender psychiatrischer Gesundheitsschaden vorliege und eine leidensangepasste Tätigkeit vollumfänglich zumutbar sei.
B.
Die dagegen geführte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. Juni 2017 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, der kantonale Entscheid sei aufzuheben und die IV-Stelle zu verpflichten, ihm die gesetzlichen Leistungen, namentlich eine Invalidenrente, zu gewähren.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
D.
Das Bundesgericht gewährte den Parteien das rechtliche Gehör zur vorgenommenen Änderung der Rechtsprechung gemäss BGE 143 V 409 und 418. Mit Eingaben vom 25. und 29. Januar 2018 bekräftigen beide Parteien ihre Rechtsstandpunkte.
Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG), die Feststellung des Sachverhalts nur, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG).
2.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie den vom Beschwerdeführer mit einer Neuanmeldung vom 21. Dezember 2011 geltend gemachten Anspruch auf eine Invalidenrente verneinte. Dabei ist zu prüfen, ob im entsprechenden Vergleichszeitraum eine nach - analog anzuwendenden - revisionsrechtlichen Massstäben erhebliche Veränderung des Gesundheitszustands stattgefunden hat. Die Vorinstanz legte die diesbezüglich massgebenden Rechtsgrundlagen zutreffend dar, insbesondere die Bestimmungen zu den Begriffen der Invalidität (Art. 8 Abs. 1 ATSG) und der Erwerbsunfähigkeit (Art. 7 Abs. 1 ATSG), zum Anspruch auf eine Invalidenrente (Art. 28 Abs. 2 IVG) sowie die im Zusammenhang mit einer Neuanmeldung anwendbaren Bestimmungen (Art. 87 Abs. 2 und 3 IVV; Art. 17 Abs. 1 ATSG). Darauf wird verwiesen.
3.
3.1. Nach der früheren Rechtsprechung wurde bei leichten bis mittelschweren Störungen aus dem depressiven Formenkreis, seien sie im Auftreten rezidivierend oder episodisch, angenommen, dass - aufgrund der nach gesicherter psychiatrischer Erfahrung regelmässig guten Therapierbarkeit - hieraus keine IV-rechtlich relevante Einschränkung der Arbeitsfähigkeit resultiere. Den leichten bis mittelschweren depressiven Erkrankungen fehle es, solange sie therapeutisch angehbar seien, an einem hinreichenden Schweregrad der Störung, um diese als invalidisierend anzusehen (vgl. BGE 140 V 193 E. 3.3 S. 196; Urteil 8C_753/2016 vom 15. Mai 2017). Nur in der - seltenen, gesetzlich verlangten Konstellation mit Therapieresistenz - sei den normativen Anforderungen des Art. 7 Abs. 2 ATSG für eine objektivierende Betrachtungs- und Prüfungsweise Genüge getan (BGE 141 V 281 E. 3.7.1 bis 3.7.3 S. 295 f.).
3.2. Mit BGE 143 V 409 und 418 hat das Bundesgericht seine Rechtsprechung geändert und festgestellt, dass die Therapierbarkeit keine abschliessende evidente Aussage über das Gesamtmass der Beeinträchtigung und deren Relevanz im IV-rechtlichen Kontext zu liefern vermöge. Weiter hat es erkannt, dass sämtliche psychischen Erkrankungen, namentlich auch depressive Störungen leicht- bis mittelgradiger Natur, einem strukturierten Beweisverfahren nach BGE 141 V 281 zu unterziehen seien. Dieses bleibe entbehrlich, wenn im Rahmen beweiswertiger fachärztlicher Berichte (vgl. BGE 125 V 351) eine Arbeitsunfähigkeit in nachvollziehbar begründeter Weise verneint werde und allfälligen gegenteiligen Einschätzungen mangels fachärztlicher Qualifikation oder aus anderen Gründen kein Beweiswert beigemessen werden könne.
3.3. Nach altem Verfahrensstandard eingeholte Gutachten verlieren nicht per se ihren Beweiswert. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls mit seinen spezifischen Gegebenheiten und den erhobenen Rügen entscheidend, ob ein abschliessendes Abstellen auf die vorhandenen Beweisgrundlagen vor Bundesrecht standhält (BGE 141 V 281 E. 8 S. 309; 137 V 210 E. 6 S. 266). Mithin ist in jedem einzelnen Fall zu prüfen, ob die beigezogenen administrativen und/oder gerichtlichen Sachverständigengutachten - gegebenenfalls im Kontext mit weiteren fachärztlichen Berichten - eine schlüssige Beurteilung im Lichte der massgeblichen Indikatoren erlauben oder nicht. Je nach Abklärungstiefe und -dichte kann zudem unter Umständen eine punktuelle Ergänzung genügen (BGE 141 V 281 E. 8 S. 309).
4.
4.1. Die Vorinstanz mass dem Gutachten der MEDAS Interlaken vom 22. Januar 2013 in Bezug auf den medizinischen Sachverhalt Beweiskraft zu. Danach bestehe mit Auswirkung auf die Arbeitsfähigkeit eine rezidivierende depressive Störung, unvollständig remittiert (ICD-10 F33.8; seit 2000), eine chronische Schmerzstörung mit psychischen und somatischen Faktoren (ICD-10 F45.41; seit 2000), ein chronisches Zervikalsyndrom und Zervikozephalsyndrom mit/bei mehrsegmentalen degenerativen HWS-Veränderungen und muskulärer Dysbalance im Nacken-/Schultergürtel (ICD-10 M53.0; seit 1998), ein chronisch intermittierendes Lumbosakralsyndrom sowie eine diffuse idiopatische skelettale Hyperostose (ICD-10 M48.19), dokumentiert seit 2001. Sie stellte fest, dass sich der Gesundheitszustand aus somatischer Sicht seit Mai 2005 nicht verschlechtert habe. Dem Versicherten körperlich weiterhin vollzeitlich zumutbar seien daher Tätigkeiten ohne schweres oder mittelschweres Heben und Tragen.
4.2. Was den psychischen Status betrifft, erwog das kantonale Gericht, die rezidivierende depressive Störung sei als vorübergehendes Leiden zu qualifizieren, dem grundsätzlich kein Krankheitscharakter zukomme. Die Therapiemöglichkeiten seien nicht optimal und nachhaltig ausgeschöpft worden. Ferner würden psychosoziale Belastungsfaktoren eine wesentliche Rolle spielen. Auch verfüge der Beschwerdeführer über Ressourcen, die es ihm u.a. erlaubten, trotz bestehender gesundheitlicher Probleme ab dem Jahr 2005 die alleinige elterliche Sorge der 1996 und 1998 geborenen Kinder zu übernehmen; ein ausgeprägter sozialer Rückzug sei nicht gegeben. Damit liege kein invalidisierender Gesundheitsschaden vor. Dieser habe sich nicht in rentenrelevantem Ausmass verschlechtert.
4.3. Der Beschwerdeführer wendet dagegen insbesondere ein, die Vorinstanz begründe ihr Abweichen von dem als beweiswertig angesehenen Gutachten der MEDAS Interlaken nicht. Aus ihrer Beurteilung gehe nicht hervor, inwieweit sich das Gutachten nicht an die normativen Vorgaben gehalten habe, wobei die Vorinstanz die Schmerzrechtsprechung nicht angewendet habe, was willkürlich sei. In Verletzung des Untersuchungsgrundsatzes habe sie, ohne dafür eine andere beweiswertige Grundlage heranzuziehen, eigene medizinische Schlussfolgerungen vorgenommen. Das Gutachten bejahe klar eine psychische Verschlechterung aufgrund der bestehenden krankheitswertigen Leiden, womit sich das kantonale Gericht nicht, auch nicht in Abgrenzung zu psychosozialen Belastungsfaktoren, befasst habe. In bundesrechtswidriger Weise habe es die Frage nach Ressourcen und ressourcenhemmenden Faktoren nicht im Rahmen eines strukturierten Beweisverfahrens abgehandelt. In Anwendung der Rechtsprechung gemäss BGE 141 V 281 sei die von den Experten psychiatrisch begründete Arbeitsunfähigkeit von 50 % für leidensangepasste Tätigkeiten zu übernehmen. Eventualiter sei die Sache zumindest zur ergänzenden Fragestellung an die Gutachter der MEDAS zurückzuweisen.
5.
5.1. Das kantonale Gericht hielt zutreffend fest, dass unter neuanmeldungsrechtlichen Gesichtspunkten die Frage zu klären ist, ob sich der Gesundheitszustand des Beschwerdeführers im Zeitraum zwischen dem leistungsablehnenden Einspracheentscheid vom 19. Mai 2005 und der angefochtenen Verfügung vom 2. Juni 2016 in anspruchsrelevanter Weise verschlechtert hat. In sachverhaltlicher Hinsicht stellte es dabei fest, dass im Gutachten der MEDAS Zentralschweiz vom 28. Mai 2004, das dem Einspracheentscheid vom 19. Mai 2005 zugrunde lag, psychiatrischerseits ein Fibromyalgiesyndrom (gleichgesetzt mit einer anhaltenden somatoformen Schmerzstörung) und eine anhaltende, dannzumal leichtgradige depressiven Störung bei somatoformer Schmerzstörung, schwieriger psychosozialer Situation, Adipositas permagna und Schlafapnoe-Syndrom diagnostiziert wurde. Weiter verneinte die Vorinstanz in Bezug auf die rezidivierende depressive Störung, wie dargelegt (E. 4.2), dass ein rechtlich relevanter invalidisierender Gesundheitsschaden vorliege. Eine erhebliche gesundheitliche Verschlechterung schloss sie aus, ohne dazu weitere bindende Sachverhaltsfeststellungen zu treffen, weshalb das Bundesgericht insoweit in der Sachverhaltsfeststellung frei ist.
5.2. Zum gesundheitlichen Verlauf gaben die Gutachter an, mangels Verlaufsbefunden und -beurteilungen und aufgrund der inkonsistenten Angaben des Versicherten sei es nicht möglich, den Zeitpunkt, seit dem der jetzige Status bestehe, festzulegen, er gelte deshalb ab Begutachtungszeitpunkt. Hinsichtlich des Ausmasses der durch den Gesundheitsschaden bedingten funktionellen Einschränkungen wiesen die Experten ebenfalls an verschiedenen Stellen auf Inkonsistenzen hinsichtlich der Auswirkungen der Beschwerden in den verschiedenen Lebensbereichen hin. Eine Aggravation konnte nicht ausgeschlossen werden. Der psychiatrische Experte führte aus, er vermisse eine konsistente detaillierte Schilderung des Alltags und auch die Bereitschaft dazu. Das Funktionsniveau scheine einerseits niedrig, anderseits sei die Rolle als Alleinerzieher - wenn auch teilweise mit Hilfe anderer - ausgefüllt worden. Die Arbeitsfähigkeit werde als nicht ausgeschöpft und als verbesserungswürdig erachtet; medizinische Massnahmen, beispielsweise eine sechswöchige stationäre Therapie, seien dringend indiziert, da die bisherige ambulante Therapie ohne Medikation mit Antidepressiva nicht ausreichend sei. Nach erfolgreicher Behandlung sollten die vorhandenen Störungen die Arbeitsfähigkeit nicht mehr als 20 % einschränken. Abgesehen von der erwähnten Komorbidität verneinte der Psychiater das Vorliegen der Foerster-Kriterien im Sinne der dannzumal geltenden Schmerzrechtsprechung nach BGE 130 V 352.
5.3. Aus den Darlegungen im Gutachten der MEDAS Interlaken vom 22. Januar 2013 ergibt sich damit mit Blick auf das Beweisthema nicht, inwiefern eine effektive Veränderung des Gesundheitszustands seit der erstmaligen Begutachtung stattgefunden haben könnte. Insbesondere wird in der Expertise nicht nachvollziehbar und überzeugend dargelegt, worin in psychischer Hinsicht mit der unvollständig (auf leicht- bis mittelgradigem Niveau) remittierten depressiven Störung zusammen mit dem als unverändert oder weiter chronifiziert bezeichneten Schmerzproblem die erhebliche gesundheitliche Verschlechterung seit 2005 bestehen soll. Eine psychische Verschlechterung in relevantem Ausmass im massgebenden Zeitraum ist nicht ausgewiesen, indem die psychischen Beschwerden in diagnostischer Hinsicht und in ihrer Intensität nicht wesentlich voneinander abweichend beschrieben werden, weshalb demnach bei im Wesentlichen unverändert gebliebenem Sachverhalt lediglich eine andere gutachterliche Einschätzung der Arbeitsfähigkeit vorgenommen wurde. An diesem Ergebnis ändert die Rechtsprechung gemäss BGE 143 V 409 und BGE 143 V 418 nichts, wonach grundsätzlich sämtliche psychischen Erkrankungen einem strukturierten Beweisverfahren nach BGE 141 V 281 zu unterziehen sind. Denn liegt mit der Vorinstanz keine Änderung der tatsächlichen Verhältnisse vor, wie hier für eine Neubeurteilung des Leistungsanspruchs vorausgesetzt ist (BGE 141 V 9 E. 2.3 S. 10), spielt es keine Rolle, ob allenfalls ein rechtskräftig beurteilter, unveränderter Sachverhalt nach einer neuen Rechtsprechung rechtlich anders eingeordnet würde. Die Rechtsprechungsänderung allein stellt keinen Neuanmeldungs- oder Revisionsgrund dar (BGE 141 V 585 E. 5.3 S. 588). Daher ist in diesem Kontext nicht entscheidend, dass die Vorinstanz hinsichtlich der im MEDAS-Gutachten vom 22. Januar 2013 diagnostizierten chronischen Schmerzstörung mit psychischen und somatischen Faktoren kein strukturiertes Beweisverfahren gemäss BGE 141 V 281 durchführte, um die funktionellen Auswirkungen der Störung abschätzen zu können. Gleiches gilt für den Umstand, dass sie dem depressiven Leiden in Anwendung der bisherigen Rechtsprechung zu den leichten bis mittelschweren Störungen aus dem depressiven Formenkreis die invalidisierende Wirkung desselben absprach (E. 3.1 hiervor), obwohl eine invalidenversicherungsrechtlich relevante psychische Gesundheitsschädigung nunmehr nicht allein mit dem Argument der fehlenden Therapieresistenz ausgeschlossen werden darf (BGE 143 V 409 E. 4.4 S. 414 f.; E. 3.2 hiervor). Die Vorinstanz verneinte demnach einen Rentenanspruch im Nachgang zur Neuanmeldung zu Recht mangels einer relevanten sachverhaltlichen Veränderung im massgeblichen Zeitraum. Weiterer Abklärungen bedarf es nicht. Die Beschwerde ist unbegründet.
6.
Die Kosten des Verfahrens sind vom unterliegenden Beschwerdeführer zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. Mai 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Polla