Sachverhalt:
A.
Mit Einspracheentscheid vom 31. Oktober 2006 verneinte die IV-Stelle Schwyz einen Rentenanspruch des 1975 geborenen, gelernten Heizungsmonteurs A._.
Im März 2012 meldete sich dieser erneut zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons Zürich tätigte daraufhin verschiedene Abklärungen, insbesondere liess sie A._ begutachten (vgl. Expertise der medaffairs, Basel, vom 9. März 2015; Gutachten des Zentrums für Medizinische Begutachtungen [ZMB], Basel, vom 18. Mai 2016) und nahm mehrfach Rücksprache mit dem Regionalen Ärztlichen Dienst (RAD; Stellungnahmen vom 9. Juni 2015, 27. Mai 2016 und 3. Juli 2017). Gestützt darauf lehnte die Verwaltung nach Durchführung des Vorbescheidverfahrens einen Rentenanspruch ab (Verfügung vom 8. August 2017).
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 13. Juli 2018 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des angefochtenen Entscheids sei ihm mindestens eine halbe Rente zuzusprechen. Zudem ersuchte er um Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Erwägungen:
1.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten kann u.a. die Verletzung von Bundesrecht gerügt werden (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>).
2.
2.1. Streitig und zu prüfen ist der Rentenanspruch des Beschwerdeführers.
2.2. Das kantonale Gericht legte die gesetzlichen Bestimmungen und die von der Rechtsprechung dazu entwickelten Grundsätze zutreffend dar. Es betrifft dies namentlich diejenigen zur Invalidität (<ref-law> und <ref-law>), insbesondere auch im Zusammenhang mit psychischen Erkrankungen, bei denen die Festsetzung der Arbeitsfähigkeit im Rahmen eines strukturierten Beweisverfahrens anhand von Standardindikatoren zu erfolgen hat (<ref-ruling>, 418; <ref-ruling>), sowie zum Anspruch auf eine Invalidenrente (Art. 28 Abs. 1, <ref-law>) und zur Invaliditätsbemessung nach der allgemeinen Methode des Einkommensvergleichs (vgl. <ref-law>; <ref-law>). Ebenfalls korrekt sind die vorinstanzlichen Ausführungen zum Beweiswert medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1 S. 232). Zu ergänzen ist, dass bei Vorliegen eines Gutachtens, bei dem sich die medizinischen Experten an die massgebenden normativen Rahmenbedingungen hielten (d.h. ausschliesslich funktionelle Ausfälle berücksichtigten, die Folge der gesundheitlichen Beeinträchtigung sind) und ihre Zumutbarkeitsbeurteilung auf eine objektivierte Grundlage stützten (BGE <ref-ruling> E. 5.2.2 S. 307), keine davon losgelöste juristische Parallelüberprüfung statthaft ist (BGE <ref-ruling> E. 5.2.3 S. 307; vgl. zum Ganzen auch <ref-ruling> E. 4.3 S. 54 mit Hinweisen).
3.
3.1. Das kantonale Gericht hielt fest, die Gutachten der medaffairs vom 9. März 2015 und des ZMB vom 18. Mai 2016 überzeugten in somatischer Hinsicht. Die psychiatrische Einschätzung der medaffairs sei hingegen nicht schlüssig, dies insbesondere, da darin grösstenteils lediglich subjektive Darstellungen des Beschwerdeführers aber keine objektiven Beobachtungen des Gutachters festgestellt worden seien. Hingegen könne in psychiatrischer Hinsicht auf das ZMB-Gutachten abgestellt werden, wonach eine leichte depressive Episode vorliege. Die vom psychiatrischen Gutachter attestierte Verminderung der Arbeitsfähigkeit unterzog die Vorinstanz einem strukturierten Beweisverfahren und kam zum Schluss, es bestehe eine 80%ige Arbeitsfähigkeit in einer angepassten Tätigkeit. Bei der Bemessung der Invalidität stellte das kantonale Gericht für das Valideneinkommen auf statistische Angaben ab, da aufgrund der kurzzeitig ausgeübten selbständigen Erwerbstätigkeit (von März 2009 bis November 2011) keine zuverlässigen Aussagen vorgenommen werden könnten. Beim Invalideneinkommen berücksichtigte es einen behinderungsbedingten Abzug von 10 % und ermittelte gestützt darauf einen rentenausschliessenden Invaliditätsgrad von 35 %.
3.2. Der Beschwerdeführer ist hingegen der Auffassung, die im orthopädischen Teilgutachten des ZMB postulierte Einschränkung von 20 % sei angesichts des Berichts des Zentrums B._ vom 12. Oktober 2017 offensichtlich unrichtig. Mit Blick auf den Operationsbericht vom 11. August 2017 legt der Beschwerdeführer weiter dar, dem neurologischen Teilgutachten könne nicht gefolgt werden. Es sei unerklärlich, weshalb darin ausgeführt worden sei, sichere Anhaltspunkte für eine persistierende radikuläre Reizsymptomatik fehlten. Auch das psychiatrische Teilgutachten sei zu kritisieren. Gemäss den Akten (Berichte des Zentrums B._ vom 12. Dezember 2016 und des Zentrums C._ vom 11. April 2017) leide er an einer mittelgradigen depressiven Episode. Weiter beanstandet der Beschwerdeführer aufgrund des von der Vorinstanz festgestellten Sachverhalts die durchgeführte Prüfung der Standardindikatoren, insbesondere die Ausführungen zur Ausprägung der Befunde und zum sozialen Kontext. Schliesslich rügt der Beschwerdeführer die Invaliditätsgradsbemessung betreffend das Valideneinkommen und den vom Invalideneinkommen vorgenommenen Abzug.
4.
Aufgrund der Vorbringen des Beschwerdeführers ist somit zunächst zu prüfen, ob die Vorinstanz Bundesrecht verletzte, indem sie dem rheumatologischen Gutachten der medaffiars und dem Gutachten des ZMB Beweiswert zumass.
4.1.
4.1.1. Der Beschwerdeführer macht diesbezüglich geltend, die Vorinstanz hätte wegen des engen sachlichen Zusammenhangs den nach der Verfügung vom 8. August 2017 erstellten Bericht des Zentrums B._ vom 12. Oktober 2017 miteinbeziehen müssen. Weiter nimmt der Beschwerdeführer in seiner Beschwerde auch Bezug auf den Operationsbericht vom 11. August 2017 und einen Bericht des Operateurs vom 17. August 2017, die nach der Verfügung vom 8. August 2017 datieren.
4.1.2. Diese Berichte vom 11. und 17. August 2017 befinden sich nicht in den Akten. Auf deren Einholung ist zu verzichten, denn im bundesgerichtlichen Verfahren dürfen neue Tatsachen und Beweismittel nur so weit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gab (<ref-law>). Dass diese Voraussetzungen erfüllt sind, macht der Beschwerdeführer nicht geltend und ist auch nicht ersichtlich. Die diesbezüglichen Ausführungen des Beschwerdeführers sind somit nicht weiter zu beachten.
4.1.3. Der Bericht des Zentrums B._ vom 12. Oktober 2017 vermag d ie gutachterliche Einschätzung des ZMB nicht in Frage zu stellen. Den Akten lässt sich entnehmen (<ref-law>), dass die Indikation zur Operation, die am 11. August 2017 stattfand, bereits am 16. September 2015 gestellt wurde. In der Expertise des ZMB vom 18. Mai 2016 wurde somit der Zustand berücksichtigt, wie er bis zu dieser Operation bestand. Anhaltspunkte, dass sich nach der Begutachtung bis zur Operation der Gesundheitszustand des Beschwerdeführers betreffend die Rückenbeschwerden massgeblich verändert hat, liefert der Bericht vom 12. Oktober 2017 zudem nicht. Vor dem Hintergrund, dass die Verfügung vom 8. August 2017 verfahrensmässig den Endzeitpunkt des sachverhaltlich relevanten Geschehens markiert (<ref-ruling> E. 4.3 S. 14; <ref-ruling> E. 1.2 S. 446, 129 V 167 E. 1 S. 169; Urteil 9C_135/2018 vom 11. Juli 2018 E. 2.2), sind die Folgen der danach durchgeführten Operation in diesem Verfahren nicht weiter zu berücksichtigen.
4.2. Die Vorinstanz qualifizierte das ZMB-Gutachten auch in psychiatrischer Hinsicht als beweiskräftig, insbesondere vermöge daran der Bericht des Zentrums B._ vom 12. Dezember 2016 keine Zweifel zu begründen, werde darin doch die Diagnose einer mittelgradigen depressiven Episode nicht nachvollziehbar dargelegt. Soweit der Beschwerdeführer der gutachterlichen Einschätzung erneut die Beurteilung seiner behandelnden Ärzte gegenüberstellt und die von der Vorinstanz vorgenommene Prüfung der Standardindikatoren bemängelt, vermag dies nicht aufzuzeigen, inwiefern das kantonale Gericht Bundesrecht verletzte, denn eine andere medizinische Einstufung seitens der Partei - vorbehalten Fälle, in denen sich eine abweichende Beurteilung aufdrängt, weil die behandelnden Ärzte wichtige Aspekte benennen, die im Rahmen der Begutachtung unerkannt oder ungewürdigt geblieben sind - vermögen ein Administrativgutachten regelmässig nicht in Frage zu stellen (vgl. statt vieler: SVR 2017 IV Nr. 49 S. 148, 9C_338/2016 E. 5.5, und SVR 2008 IV Nr. 15 S. 43, I 514/06 E. 2.1.1).
4.3.
4.3.1. Rechtsprechungsgemäss liegt es nicht allein in der Zuständigkeit der mit dem konkreten Einzelfall (gutachterlich) befassten Arztpersonen, abschliessend und für die rechtsanwendende Stelle (Verwaltung, Gericht) verbindlich zu entscheiden, ob das medizinisch festgestellte Leiden zu einer (andauernden oder vorübergehenden) Arbeitsunfähigkeit (bestimmter Höhe und Ausprägung) führt (<ref-ruling> E. 3.1 S. 194 f.). Deshalb kann aus rechtlicher Sicht von einer medizinischen Einschätzung der Arbeitsunfähigkeit abgewichen werden, ohne dass sie ihren Beweiswert verliert (<ref-ruling> E. 4.3 S. 53 f.; Urteil 8C_604/2017 vom 15. März 2018 E. 3.2 mit Hinweisen). Die Vorinstanz verletzte somit kein Bundesrecht, indem sie prüfte, ob auf die gutachterlich attestierte Arbeitsunfähigkeit aufgrund der psychischen Leiden mit Blick auf die Standardindikatoren abgestellt werden kann.
4.3.2. Betreffend die vom Beschwerdeführer erhobenen Vorbringen zum funktionellen Schweregrad ist auf das hiervor Ausgeführte zu verweisen (E. 4.2). Es ist somit nicht ersichtlich, inwiefern das diesbezüglich im angefochtenen Entscheid Erwogene bundesrechtswidrig sein sollte. Auch ist nachvollziehbar, dass die Vorinstanz im Bereich des sozialen Kontexts auf Ressourcen schloss. Soweit der Beschwerdeführer vorbringt, er habe lediglich noch zu seinen nächsten Familienangehörigen minimalen Kontakt, stimmt dies mit den Angaben des Beschwerdeführers bei der Begutachtung im ZMB nicht überein, wonach er den Sohn jeweils am Montag und Donnerstag zum Fussballtraining begleite sowie zu seinem Bruder einen sehr guten Kontakt habe und diesen ca. zwei- bis dreimal im Monate treffe. In diesem Sinne erachteten auch die Ärzte des Zentrums B._ den Kontakt zum Sohn als "grosse Ressource" (Bericht vom 12. Oktober 2017). Das Fehlen von Kollegen scheint zudem nicht auf krankheitsbedingte Umstände zurückzuführen zu sein, wurde in der Expertise der ZMB doch dargelegt, der Beschwerdeführer vermeide Kontakt zu Kollegen wegen der fehlenden Finanzen und aus Scham.
4.3.3. Die vorinstanzliche Prüfung der Standardindikatoren mit dem Ergebnis, es liege insgesamt eine gewisse Einschränkung der Leistungsfähigkeit vor, ist somit schlüssig. Nicht nachvollziehbar begründet hat die Vorinstanz hingegen, weshalb sie von der interdisziplinären gutachterlichen Arbeitsfähigkeitsbeurteilung von 70 % abgewichen ist und diese stattdessen auf 80 % festlegte. Die Gutachter orientierten sich bei der Einschätzung der Arbeitsfähigkeit an den Standardindikatoren, sie haben somit ihre Zumutbarkeitsbeurteilung auf eine objektivierte Grundlage gestützt, weshalb es keinen Grund gibt, diese nicht zu übernehmen (vgl. E. 2.2 in fine). Im Nachfolgenden ist daher von einer (Rest-) Arbeitsfähigkeit von 70 % auszugehen.
5.
5.1. Bei der Bemessung der Invalidität stellte das kantonale Gericht bezüglich des Valideneinkommens auf statistische Angaben ab, da angesichts der kurzzeitig ausgeübten selbständigen Erwerbstätigkeit (von März 2009 bis November 2011) keine zuverlässigen Aussagen vorgenommen werden könnten. Zudem habe das Unternehmen des Beschwerdeführers bereits vor Eintritt des Gesundheitsschadens im Juni 2011 finanzielle Probleme gehabt. Es sei daher überwiegend wahrscheinlich, dass der Beschwerdeführer selbst ohne Gesundheitsschaden nicht mehr selbständig erwerbstätig wäre. Der Beschwerdeführer ist der Ansicht, es sei das Valideneinkommen basierend auf dem Einkommen aus der selbständigen Erwerbstätigkeit zu bestimmen. Er weist darauf hin, dass er sich bereits im März 2011 einer Rückenoperation habe unterziehen müssen. Am 16. Juli 2011 habe er dann einen Autounfall gehabt und sei längere Zeit ausgefallen. Die vollständig auf den Beschwerdeführer als Vorarbeiter und Unternehmer ausgerichtete Firma habe sich von diesen Unwägbarkeiten nicht mehr erholt. Arbeitnehmer hätten wegen Lohnforderungen die Arbeit niedergelegt und die Firma sei nicht mehr zu halten gewesen.
Aus den Akten ergibt sich, dass der Beschwerdeführer am 16. Juli 2011 einen Autounfall hatte und alsdann seiner selbständigen Erwerbstätigkeit nicht mehr nachging. Zu diesem Zeitpunkt war die Firma des Beschwerdeführers jedoch bereits in Schieflage geraten, denn praktisch zeitgleich am 20. Juli 2011 legten seine Mitarbeiter die Arbeit nieder. Diese betrieblichen Probleme lassen sich nicht hinreichend mit den zuvor vorliegenden gesundheitlichen Beeinträchtigungen erklären, hat doch die Operation im März 2011ausweislich der Akten nicht zu einer längerfristigen Arbeitsunfähigkeit des Beschwerdeführers geführt (vgl. Bericht der Klinik D._, Neurologisches Konsilium, vom 1. Dezember 2011). Auf finanzielle Schwierigkeiten vor der Operation im März 2011 deutet zudem, dass die Firma des Beschwerdeführers bereits vor dieser Operation Sozialversicherungsabgaben nicht fristgerecht bezahlt hat. In Anbetracht dieser Umstände ist nicht offensichtlich unrichtig, dass die Vorinstanz davon ausging, die selbständige Erwerbstätigkeit wäre ohnehin nicht weitergeführt worden, und es hat daher beim im angefochtenen Entscheid festgestellten Valideneinkommen von Fr. 75'090.- sein Bewenden.
5.2.
5.2.1. Das kantonale Gericht gewährte vom Invalideneinkommen einen behinderungsbedingten Abzug von 10 %. Der Beschwerdeführer macht geltend, dieser sei mit Blick auf die Teilarbeitsfähigkeit und den Ausländerstatus nicht praxisgemäss. Gemäss der gutachterlichen Einschätzung ist dem Beschwerdeführer eine ganztägige Arbeitsausführung mit einer Leistungsminderung zumutbar. In solchen Konstellationen bleibt rechtsprechungsgemäss kein Raum für einen Abzug vom Tabellenlohn (Urteil 8C_552/2017 vom 18. Januar 2018 E. 5.3.1). Mit Blick auf die ausländische Herkunft des Versicherten ergibt sich, dass Männer mit Niederlassungsbewilligung C ohne Kaderfunktion zwar weniger als Schweizer verdienen (LSE 2012 und 2014, Tabelle TA12), aber mehr als das für die Invaliditätsbemessung herangezogene Durchschnittseinkommen (LSE 2012 und 2014, Tabelle TA1). Es ist somit auch nicht ersichtlich, dass die Vorinstanz mit dem gewährten Abzug von 10 % gegen Bundesrecht verstossen hat.
5.2.2. Das Invalideneinkommen ist aufgrund einer Arbeitsfähigkeit von 70 % zu ermitteln (E. 4.3.3 hiervor). Es beträgt - bei ansonsten unveränderter Übernahme des vorinstanzlich Ermittelten (inkl. Leidensabzug von 10 %) - Fr. 42'412.35.
5.3. Ein Vergleich des Validenlohns mit dem Invalideneinkommen zeigt eine Erwerbseinbusse von Fr. 32'677.65 (Fr. 75'090.- - Fr. 42'412.35), woraus ein Invaliditätsgrad von gerundet 44 % (Fr. 32'677.65 / Fr. 75'090.-) resultiert. Die Beschwerde ist somit in dem Sinne teilweise gutzuheissen, als dass der Beschwerdeführer aufgrund des im Juni 2011 eingetretenen Gesundheitsschadens, den er bei der IV-Stelle im März 2012 meldete, ab 1. September 2012 Anspruch auf eine Viertelsrente hat (<ref-law> i.V.m. <ref-law>).
6.
Das Verfahren ist kostenpflichtig (Art. 65 Abs. 1 und Abs. 4 lit. a BGG). Die Parteien haben die Gerichtskosten im Masse ihres Unterliegens je hälftig zu tragen (<ref-law>). Der Beschwerdeführer hat Anspruch auf eine reduzierte Parteientschädigung (<ref-law>).
Im Übrigen ist dem Gesuch des Versicherten um unentgeltliche Rechtspflege stattzugeben, da die entsprechenden gesetzlichen Voraussetzungen erfüllt sind (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkannt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen. Der Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 13. Juli 2018 wird aufgehoben. Es wird festgestellt, dass der Beschwerdeführer ab 1. September 2012 Anspruch auf eine Viertelsrente hat. Im Übrigen wird die Beschwerde abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Fürsprecher Frank Goecke wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden zu Fr. 400.- dem Beschwerdeführer und zu Fr. 400.- der Beschwerdegegnerin auferlegt. Der Anteil des Beschwerdeführers wird vorläufig auf die Bundesgerichtskasse genommen.
4.
Die Beschwerdegegnerin hat den Rechtsvertreter des Beschwerdeführers für das bundesgerichtliche Verfahren mit Fr. 1'400.- zu entschädigen.
5.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 1'400.- ausgerichtet.
6.
Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Sozialversicherungsgericht des Kantons Zürich zurückgewiesen.
7.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 28. März 2019
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Pfiffner
Die Gerichtsschreiberin: Möckli