Sachverhalt:
A.
Der 1981 geborene A._ war zuletzt als Bauarbeiter bei der B._ AG tätig. Am 25. Mai 2007 meldete er sich unter Hinweis auf Hüftbeschwerden bei der IV-Stelle des Kantons Zürich zum Leistungsbezug an. Im Laufe des Verfahrens traten zusätzlich psychische Beschwerden hinzu. Gestützt auf den Bericht des Sanatoriums C._ vom 11. April 2008, in welchem eine schwere depressive Episode ohne psychotische Symptome diagnostiziert und eine volle Arbeitsunfähigkeit attestiert wurden, verfügte die IV-Stelle die Zusprache einer ganzen Invalidenrente ab 1. Februar 2008. Mit Schreiben vom 6. Juli 2009 teilte die IV-Stelle dem Versicherten mit, dass aufgrund unveränderter Verhältnisse die (ganze) Rente weiterhin ausgerichtet werde. Anlässlich einer zweiten Revision gab die IV-Stelle ein bidisziplinäres Gutachten bei Prof. Dr. med. D._, FMH für Psychiatrie und Psychotherapie, FMH für Neurologie, und Dr. med. und Dr. sc. nat. ETH E._, FMH für Innere Medizin spez. Rheumaerkrankungen, in Auftrag, das am 27. Juli 2015 und 1. September 2015 erstattet wurde. Nach Rücksprache mit dem Regionalen Ärztlichen Dienst (RAD,) stellte die Verwaltung die Rente - nach durchgeführtem Vorbescheidverfahren - mit Verfügung vom 4. August 2016 per 30. September 2016 ein.
B.
Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 19. Juli 2018 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt A._ beantragen, unter Aufhebung des kantonalen Entscheids sei ihm eine Viertelsrente mit Wirkung ab 1. Oktober 2016 zuzusprechen. Ferner ersucht er für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege.
Während die IV-Stelle auf Beschwerdeabweisung schliesst, verzichten die Vorinstanz und das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.
Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Pflicht zur Begründung der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 141 V 234 E. 1 S. 236 mit Hinweisen).
1.2. Das Bundesgericht kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (Art. 97 Abs. 1 BGG).
Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist (BGE 132 I 42 E. 3.1 S. 44). Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint (vgl. BGE 129 I 8 E. 2.1 S. 9; Urteil 9C_838/2016 vom 3. März 2017 E. 5.1). Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung (Urteil 9C_222/2016 vom 19. Dezember 2016 E. 1.2 mit Hinweis); in diese greift das Bundesgericht auf Beschwerde hin nur bei Willkür (zu diesem Begriff BGE 137 I 1 E. 2.4 S. 5 mit Hinweisen) ein, insbesondere wenn die Vorinstanz offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche grundlos ausser Acht lässt (BGE 132 III 209 E. 2.1 S. 211). Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips (E. 4.1 hiervor) klar und detailliert aufzuzeigen (BGE 130 I 258 E. 1.3 S. 261 f.). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (BGE 134 II 244 E. 2.2 S. 246 mit Hinweis).
2.
Streitig ist, ob die Vorinstanz Bundesrecht verletzt hat, indem sie die revisionsweise Aufhebung der Invalidenrente per Ende September 2016 bestätigte.
3.
Das kantonale Gericht hat die gesetzlichen Bestimmungen und die von der Rechtsprechung entwickelten Grundsätze zur Rentenrevision (Art. 17 Abs. 1 ATSG; BGE 134 V 131 E. 3. S. 132), zum revisionsrechtlich massgebenden Vergleichszeitraum (BGE 133 V 108 E. 5.4 S. 114) sowie die beweisrechtlichen Anforderungen an einen ärztlichen Bericht (BGE 135 V 465 E. 4.6 S. 471) zutreffend dargelegt. Gleiches gilt in Bezug auf die mit BGE 141 V 281 geänderte Rechtsprechung zu den somatoformen Schmerzstörungen und vergleichbaren psychosomatischen Leiden sowie zum damit eingeführten strukturierten Beweisverfahren, das mit BGE 143 V 109 und 418 neu grundsätzlich auch auf leichte bis mittelschwere Depressionen anwendbar ist. Darauf wird verwiesen.
4.
4.1. Die vorinstanzlichen Feststellungen zur Verbesserung des Gesundheitsschadens im massgeblichen Zeitraum vom 19. November 2008 bis zum 4. August 2016 (BGE 133 V 108) werden nicht bestritten und sind somit für das Bundesgericht verbindlich. Laut psychiatrischem Fachgutachten vom 1. September 2015, auf das sich die Vorinstanz stützt, leidet der Beschwerdeführer an einer rezidivierenden depressiven Störung mit somatischem Syndrom, gegenwärtig mittelgradiger Ausprägung. Die Arbeitsunfähigkeit bezifferte der Gutachter auf 30-40% sowohl für die zuletzt ausgeübte als auch für adaptierte Tätigkeiten. Insgesamt sei im Vergleich zum Jahr 2008 und ab Januar 2009 von einer Besserung des psychischen Gesundheitszustandes auszugehen. Die Vorinstanz ging somit zu Recht von einer erheblichen Veränderung im Sinne von Art. 17 Abs. 1 ATSG aus.
4.2. Nachdem die Experten eine psychiatrisch bedingte Arbeitsunfähigkeit im Umfang von 30-40% bestätigt hatten, prüfte die IV-Stelle anhand der Indikatoren gemäss BGE 141 V 281, ob diese auch rechtlich relevant ist. Sie verneinte dies und hob die (ganze) Invalidenrente auf, was die Vorinstanz schützte. Demgegenüber vertritt der Beschwerdeführer die Ansicht, die gutachterlich attestierte Arbeitsunfähigkeit sei auch rechtlich relevant, so dass lediglich eine Herabsetzung der Rente auf eine Viertelsrente gerechtfertigt sei.
4.3. Gemäss BGE 141 V 281 ergibt sich hinsichtlich der Beurteilung der Arbeitsfähigkeit, dass sich sowohl die medizinischen Sachverständigen als auch die Organe der Rechtsanwendung bei ihrer Einschätzung des Leistungsvermögens an den normativen Vorgaben zu orientieren; die Gutachter im Idealfall gemäss der entsprechend formulierten Fragestellung (BGE 141 V 281 E. 5.2 S. 306 f.). Die Rechtsanwender prüfen die medizinischen Angaben frei insbesondere daraufhin, ob die Ärzte sich an die massgebenden normativen Rahmenbedingungen gehalten haben und ob und in welchem Umfang die ärztlichen Feststellungen anhand der rechtserheblichen Indikatoren auf Arbeitsunfähigkeit schliessen lassen (BGE 143 V 418 E. 6 S. 426 f.). Im Rahmen der Beweiswürdigung obliegt es den Rechtsanwendern zu überprüfen, ob in concreto ausschliesslich funktionelle Ausfälle bei der medizinischen Einschätzung berücksichtigt wurden und ob die Zumutbarkeitsbeurteilung auf einer objektivierten Grundlage erfolgte (BGE 141 V 281 E. 5.2.2; Art. 7 Abs. 2 ATSG). Die rechtsanwendenden Behörden haben mit besonderer Sorgfalt zu prüfen, ob die ärztliche Einschätzung der Arbeitsunfähigkeit auch invaliditätsfremde Gesichtspunkte (insbesondere psychosoziale und soziokulturelle Belastungsfaktoren) mitberücksichtigt, die vom sozialversicherungsrechtlichen Standpunkt aus unbeachtlich sind (vgl. BGE 140 V 193; 130 V 352 E. 2.2.5 S. 355). Wo psychosoziale Einflüsse das Bild prägen, ist bei der Annahme einer rentenbegründenden Invalidität Zurückhaltung geboten (BGE 141 V 281 E. 4.3.3 S. 303; 127 V 294 E. 5a S. 299 f.; Urteile 8C_582/2017 vom 22. März 2018 E. 5, 8C_746/2015 vom 3. Februar 2016 E. 2.2 und 9C_146/2015 vom 19. Januar 2016 E. 3.1 mit Hinweisen). Es soll keine losgelöste juristische Parallelüberprüfung nach Massgabe des strukturierten Beweisverfahrens stattfinden (BGE 141 V 281 E. 5.2.3; vgl. auch ANDREAS TRAUB, BGE 141 V 281 - Auswirkungen des Urteils auf weitere Fragestellungen, in: Sozialversicherungsrechtstagung 2016, Ueli Kieser [Hrsg.], 2017, S. 142 Ziff. 3.3.3), sondern im Rahmen der Beweiswürdigung überprüft werden, ob die funktionellen Auswirkungen medizinisch anhand der Indikatoren schlüssig und widerspruchsfrei festgestellt wurden und somit den normativen Vorgaben Rechnung tragen (BGE 141 V 281 E. 6 S. 307 f.; Urteil 8C_260/2017 vom 1. Dezember 2017 E. 4.2.4). Entscheidend bleibt letztlich immer die Frage der funktionellen Auswirkungen einer Störung, welche im Rahmen des Sozialversicherungsrechts abschliessend nur aus juristischer Sicht beantwortet werden kann. Nach BGE 141 V 281 kann somit der Beweis für eine lang andauernde und erhebliche gesundheitsbedingte Arbeitsunfähigkeit nur dann als geleistet betrachtet werden, wenn die Prüfung der massgeblichen Beweisthemen im Rahmen einer umfassenden Betrachtung ein stimmiges Gesamtbild einer Einschränkung in allen Lebensbereichen (Konsistenz) für die Bejahung einer Arbeitsunfähigkeit zeigt. Fehlt es daran, ist der Beweis nicht geleistet und nicht zu erbringen, was sich nach den Regeln über die (materielle) Beweislast zuungunsten der rentenansprechenden Person auswirkt (BGE 144 V 50 E. 4.3 S. 54, 143 V 418 E. 6 S. 427).
Gemäss früherem Verfahrensstand eingeholte Gutachten verlieren nicht per se ihren Beweiswert. Vielmehr ist im Rahmen einer gesamthaften Prüfung des Einzelfalls mit seinen spezifischen Gegebenheiten und den erhobenen Rügen entscheidend, ob ein abschliessendes Abstellen auf die vorhandenen Beweisgrundlagen vor Bundesrecht stand hält. In sinngemässer Anwendung auf die materiell-beweisrechtlich geänderten Anforderungen ist in jedem einzelnen Fall zu prüfen, ob die beigezogenen administrativen und/oder gerichtlichen Sachverständigengutachten - gegebenenfalls im Kontext mit weiteren fachärztlichen Berichten - eine schlüssige Beurteilung im Lichte der massgebenden Indikatoren erlauben oder nicht. Je nach Abklärungstiefe und -dichte kann zudem unter Umständen eine punktuelle Ergänzung genügen (BGE 141 V 281 E. 8. S. 309).
4.4. Dem bidisziplinären Gutachten, insbesondere dessen psychiatrischen Teil, lassen sich verschiedene Aussagen zu den massgebenden Standardindikatoren entnehmen. Diese können zusätzlich zu den Ausführungen im angefochtenen Entscheid berücksichtigt werden, soweit diesbezüglich von einem vorinstanzlich unvollständig ermittelten Sachverhalt ausgegangen werden muss (Art. 105 Abs. 2 BGG, Urteil 9C_844/2017 vom 25. September 2018 E. 3.2).
4.5. Das kantonale Gericht legte in nicht zu beanstandender Weise dar, warum es die Arbeitsfähigkeitsschätzung der Gutachter aus rechtlichen Gründen nicht übernahm. Aus somatischer Sicht ist unbestritten, dass ein - im Vergleich zum Jahre 2008 - unveränderter Gesundheitszustand vorliegt und somit der Beschwerdeführer weiterhin in einer seinen Beschwerden adaptierten Tätigkeit voll arbeitsfähig ist. Zu beurteilen bleiben daher die funktionellen Auswirkungen der psychischen Erkrankung.
4.5.1. Zur Kategorie "funktioneller Schweregrad", der sich nach den konkreten funktionellen Auswirkungen beurteilt und insbesondere danach, wie stark die versicherte Person in sozialen, beruflichen oder anderen wichtigen Funktionen leidensbedingt beeinträchtigt ist (BGE 143 V 418 E. 5.2.3 S. 426), ergeben die Akten das folgende Bild:
4.5.1.1. Hinsichtlich des Komplexes "Gesundheitsschädigung" ging die Vorinstanz davon aus, dass der Versicherte gemäss Gutachten an einer leicht bis mittelgradigen depressiven Störung leide. Es würden jedoch zahlreiche psychosoziale Belastungsfaktoren vorliegen, welche rechtlich keine Invalidität zu begründen vermögen und die depressive Störung gemäss dem psychiatrischen Gutachter deutlich überlagerten. Insbesondere sei anlässlich der Begutachtung der soziokulturell bedingte Unmut des Beschwerdeführers deutlich geworden, seine Rolle als Hausmann zu akzeptieren, ebenso seine Abneigung gegenüber der Kinderbetreuung und Hausarbeit. Die Vorinstanz kam zum Schluss, dass in Bezug auf den funktionellen Schweregrad sich der Indikator der diagnoserelevanten Befunde damit als lediglich geringfügig ausgeprägt erweise.
Der Beschwerdeführer wendet hiergegen ein, dass nicht eine leichte bis mittelgradige depressiven Störung diagnostiziert worden sei, sondern eine rezidivierende Störung mit somatischen Syndrom, gegenwärtig mittelgradige Ausprägung. Es sei von einer erheblichen Ausprägung der diagnoserelevanten Befunde auszugehen.
Tatsächlich diagnostizierte der psychiatrische Gutachter eine "rezidivierende Störung mit somatischen Syndrom, gegenwärtig mittelgradige Ausprägung". Unter dem Kapitel "aktuelle Psychopathologie" hielt der Gutachter allerdings fest, es bestünden Symptome einer leicht bis mittelgradigen Depression mit leicht bis mässig gedrückter Grundstimmung und reduzierter Fähigkeit Freude zu empfinden. Bezugnehmend auf die Vordiagnose, die im Verlaufsbericht vom 10. September 2014 des Sanatoriums C._ gestellt wurde, bestätigte er diese ohne weitere Begründung. Der Gutachter führte ferner aus, dass die depressive Episode durch psychosoziale Probleme überlagert werde, die auch im Vordergrund des psychopathologischen Bildes stünden. Deren Anteil daran sei "gross". Zu Recht bestreitet der Beschwerdeführer nicht deren Existenz und Einfluss auf die Arbeitsfähigkeit. Die Rüge des Beschwerdeführers, dass diese nicht im Komplex "Gesundheitsschädigung", sondern erst bei der Beurteilung der Arbeitsfähigkeit zu berücksichtigen seien, ist unzutreffend. Die psychosozialen und soziokulturellen Belastungsfaktoren sind zwar richtigerweise im Komplex "Sozialer Kontext" zu berücksichtigen (BGE 141 V 281 E. 4.3.3 S. 303); als solcher Indikator bezieht er sich dennoch auf den funktionellen Schweregrad und bildet einen wesentlichen Teil des Grundgerüsts der Folgenabschätzung (a.a.O., E. 4.3 S. 298). Soweit soziale Belastungen direkt negative funktionelle Folgen zeitigen, bleiben sie nach wie vor ausgeklammert (a.a.O., E. 4.3.3 S. 303). Der psychiatrische Experte erläuterte zudem, dass die Lösung der psychosozialen Probleme die reaktiv depressiven Episoden deutlich mindern würde und damit zur Arbeitsfähigkeit des Exploranden in erheblichem Masse beitragen könnte. Aus diesen gutachterlichen Aussagen ist zu entnehmen, dass es sich nicht um ein verselbstständigtes psychisches Leiden handelt. Die Frage, ob es sich nun um eine leichte oder mittelschwere depressive Störung handelt spielt in diesem Zusammenhang keine Rolle. Denn massgeblich ist die juristische Frage, inwiefern sich die Depression funktionell auf die Arbeitsfähigkeit auswirkt (vgl. dazu E. 4.3).
Gestützt auf die gutachterlichen Angaben durfte die Vorinstanz, ohne Bundesrecht zu verletzen, von einer eher geringen Ausprägung der diagnoserelevanten Befunde und Symptome ausgehen.
4.5.1.2. In Bezug auf Behandlungserfolg oder -resistenz, also Verlauf und Ausgang von Therapien, welche wichtige Schweregradindikatoren darstellen, hat die Vorinstanz verbindlich festgestellt, dass die teilstationär-psychiatrische Behandlung vom 27. Oktober bis 4. Dezember 2015 aus invaliditätsfremden Gründen (fehlende Kinderbetreuung) abgebrochen werden musste. Inwiefern die Feststellung der Vorinstanz, der Versicherte habe sich trotz der gutachterlich bescheinigten Teilarbeitsfähigkeit nie um Eingliederungsmassnahmen bemüht, bundesrechtswidrig oder offensichtlich unrichtig sein soll, vermag der Beschwerdeführer nicht aufzuzeigen. Fehl geht in diesem Zusammenhang sein Einwand, Eingliederungsmassnahmen hätten wegen seiner berufstätigen Frau und der Betreuung seiner vier Kinder, mithin aus invaliditätsfremden Faktoren, nicht in die Wege geleitet werden können. Entgegen seiner Behauptung arbeitete seine Ehefrau zu jenem Zeitpunkt denn auch nur zu 30 %.
4.5.1.3. Die Vorinstanz gelangte hinsichtlich des Komplexes "Persönlichkeit" und "sozialer Kontext" zum Schluss, dass der Beschwerdeführer durch seine Einbettung in die Familie und die ihm obliegenden Aufgaben eine Tagesstruktur erhalte. Sein Lebenskontext enthalte damit bestätigende, sich potenziell günstig auf die Ressourcen auswirkende Faktoren. Soweit der Beschwerdeführer geltend macht, dass dies den Berichten der behandelnden Ärzte insofern widerspreche, als er bei der Kinderbetreuung überfordert sei, vermag er keine willkürliche Sachverhaltsfeststellung aufzuzeigen. Ebensowenig verfängt das Argument, dass er seine Taubenzucht, für die er gemäss eigenen Angaben täglich drei Stunden aufwende, zum Zeitpunkt der Begutachtung noch als Ressource empfunden habe, heute nunmehr als Belastung wahrnehme.
4.5.2. Nicht offensichtlich unrichtig ist ferner die Feststellung der Vorinstanz betreffend die Kategorie "Konsistenz", dass angesichts der dargelegten Umstände keine Rede von einer gleichmässigen Einschränkung des Aktivitätsniveaus sein könne und zwar weder mit Bezug auf die gutachterlich attestierte Arbeitsunfähigkeit von 30-40% noch hinsichtlich der vom Beschwerdeführer geltend gemachten vollständigen Arbeitsunfähigkeit. Sodann stellte die Vorinstanz hinsichtlich des Indikators "behandlungs- und eingliederungsanamnestisch ausgewiesener Leidensdruck" willkürfrei fest, dass anlässlich der Begutachtung der Blutserumspiegel eines der beiden Antidepressiva im und eines deutlich unterhalb des therapeutischen Bereichs gelegen habe, was der Beschwerdeführer nicht substanziiert bestreitet.
5.
Aus medizinischer Sicht schätzte Prof. Dr. med. D._ die Arbeitsunfähigkeit des Beschwerdeführers auf 30-40%. Diese Angabe gelte sowohl für die zuletzt ausgeübte wie auch für die adaptierte Tätigkeit. Zur Begründung dieser Einschätzung führte der Gutachter aus, dass gemäss den (damaligen) Leitlinien der SIM (Swiss Insurance Medicine) bei einer mittelgradigen Depression von einer 50%igen Arbeitsunfähigkeit auszugehen sei. Unter Berücksichtigung der psychosozialen Anteile, die er aus gutachterlicher Sicht mit etwa zur Hälfte gewichtete, legte er "wohlwollend" die Arbeitsunfähigkeit auf 30-40% fest. Der Gutachter stützte sich somit bei der Beurteilung auf eine standardisierte, pauschale Arbeitsunfähigkeit für eine bestimmte Diagnose. Er klammerte zwar die psychosozialen Belastungsfaktoren, die direkt negative funktionelle Folgen zeitigen korrekterweise aus, gelangte aber dennoch zu einem (mathematisch) höheren Prozentsatz. Mit dieser Vorgehensweise vermochte er nicht aufzuzeigen, weshalb trotz lediglich maximal mittelgradig ausgeprägter Depression und an sich guter Therapierbarkeit der Störung funktionelle Leistungseinschränkungen resultieren, die sich auf die Arbeitsfähigkeit des Beschwerdeführers auswirken (BGE 143 V 409 E. 4.5.2 S. 416). Die Vorinstanz verletzte demzufolge kein Bundesrecht, als sie der medizinisch attestierten Arbeitsfähigkeit aus juristischer Sicht nicht folgte, ihr mithin die rechtliche Relevanz absprach. Dies schliesst entgegen der Meinung des Beschwerdeführers auch nicht aus, dass das Gutachten, welches im Übrigen ein stimmiges Gesamtbild vermittelt, eine schlüssige Beurteilung im Lichte der massgebenden Indikatoren erlaubt und demzufolge als beweiskräftig taxiert wird (vgl. hiervor E. 4.3). Indem das kantonale Gericht nicht etwa eine losgelöste juristische Parallelprüfung der Indikatoren vornahm, sondern anhand der medizinischen Indikatorenprüfung bundesrechtskonform die massgeblichen Beweisthemen im Rahmen einer umfassenden Betrachtung abhandelte, schloss es, unter Berücksichtigung der normativen Vorgaben, dass aus juristischer Sicht keine Erwerbsunfähigkeit vorliege, was nicht zu beanstanden ist. Damit bleibt es beim vorinstanzlichen Entscheid und die Beschwerde ist abzuweisen.
6.
Das Verfahren ist kostenpflichtig (Art. 65 BGG). Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (Art. 66 Abs. 1 Satz 1 BGG). Die unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung, Art. 64 Abs. 1 und Abs. 2 BGG) kann gewährt werden. Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG aufmerksam gemacht, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwältin Christine Fleisch wird als unentgeltliche Anwältin bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Der Rechtsvertreterin des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. Oktober 2018
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Elmiger-Necipoglu