Sachverhalt:
A.
Nachdem die IV-Stelle des Kantons Zürich das Leistungsgesuch des 1967 geborenen A._ abgewiesen hatte (Verfügung vom 29. Mai 2012), meldete sich dieser im April 2016 erneut bei der Invalidenversicherung zum Leistungsbezug an. Die Verwaltung liess ihn bei der Swiss Medical Assessment- and Business-Center (SMAB) AG polydisziplinär abklären (Gutachten vom 29. August 2017) und verneinte mit Verfügung vom 30. Januar 2018 wiederum einen Anspruch.
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 5. November 2019 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, unter Aufhebung des vorinstanzlichen Entscheids seien ihm die gesetzlichen Leistungen auszurichten, wobei "hierzu die Angelegenheit zur Vornahme weiterer Abklärungen an die Vorinstanz, eventualiter an die Beschwerdegegnerin zurückzuweisen" sei.
Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; BGE 135 II 384 E. 2.2.1 S. 389). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
2.1. Die Vorinstanz mass dem polydisziplinären Gutachten der SMAB AG vom 29. August 2017 Beweiswert zu (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352) und stellte für die Beurteilung des Gesundheitszustands darauf ab. Sie erkannte, dass der Versicherte seine angestammte Tätigkeit als Bauarbeiter nicht mehr ausüben könne. Eine angepasste Arbeit sei ihm jedoch im Umfang von 80 % zumutbar.
2.2. Der Beschwerdeführer zweifelt den Beweiswert der Expertise der SMAB AG vom 29. August 2017 an. Er rügt, das Gutachten sei nicht schlüssig und macht eine Verletzung des Untersuchungsgrundsatzes geltend.
3.
3.1. Der Versicherte weist auf den Bericht des Dr. med. B._, Facharzt für Neurologie, vom 3. März 2017 hin und bringt vor, diese Stellungnahme sei im neurologischen Teilgutachten der SMAB AG mit keinem Wort erwähnt worden. Damit kann der Beschwerdeführer nichts zu seinen Gunsten ableiten. Denn die Vorinstanz würdigte diesen Bericht und erkannte verbindlich (E. 1 oben), die Experten der SMAB AG hätten im gesamtmedizinischen Konsens dargelegt, die geklagten Beschwerden und Einschränkungen des Versicherten seien anhand der festgestellten Klinik und der durchgeführten Diagnostik sowie aufgrund der dokumentierten Hirnverletzungen auf dem neurologischem Fachgebiet nicht erklärbar. Diese Einschätzung der Gutachter decke sich gemäss kantonalem Gericht mit dem Bericht des Dr. med. B._, worin dieser erklärt habe, dass die vom Beschwerdeführer am 17. Juni 2015 erlittene traumatische Hirnverletzung, die sich in einer Subarachnoidalblutung im frontalen Mittelspalt gezeigt habe, eine extrazerebrale Blutung darstelle, die in der Regel folgenlos resorbiere und keinen dauerhaften Folgeschaden hinterlasse, sofern nicht zusätzliche Hirnstrukturen traumatisiert worden seien. Darauf gebe es gemäss Dr. med. B._ in den Bilddokumentationen keinen Hinweis.
Inwiefern sich aus dem Bericht des Prof. Dr. med. C._, Facharzt für Radiologie FMH, speziell Neuroradiologie, vom 3. März 2017etwas Abweichendes zur Einschätzung des neurologischen Teilgut achtens, das im Übrigen in Kenntnis der Ausführungen des Prof. Dr. med. C._ zustande kam, ergeben soll, wird vom Versicherten nicht weiter ausgeführt und ist auch nicht ersichtlich.
3.2. Die Neuropsychologin der SMAB AG sah sich nicht in der Lage dazu, die gezeigten kognitiven Minderleistungen des Beschwerdeführers ätiologisch zuzuordnen. Deren Plausibilität und die mögliche Auswirkung auf die Arbeitsfähigkeit könnten laut Gutachterin im vorliegenden Fall nur im interdisziplinären Rahmen beurteilt werden.
Wie die Vorinstanz keinesfalls aktenwidrig erkannte, fand eine solche Gesamteinschätzung statt. Die Gutachter verwiesen auf den Aufenthalt des Beschwerdeführers in der Klinik D._ und erläuterten, es sei bereits damals festgehalten worden, dass sich das Ausmass der vom Versicherten geschilderten Beschwerden nicht mit den Beobachtungen seines Verhaltens im klinischen Alltag gedeckt habe, weshalb eine bewusstseinsnahe Verdeutlichungstendenz nicht habe ausgeschlossen werden können. Die Experten der SMAB AG kamen zum Schluss, dass auch sie die kognitiven Minderleistungen nicht ätiologisch zuordnen und eine Aggravationstendenz nicht ausschliessen könnten. Ihnen waren im Rahmen der Gesamteinschätzung folglich die von der Neuropsychologin erhobenen kognitiven Defizite und das verlangsamte Arbeitstempo bekannt. Sie konstatierten jedoch, dass es diesen neuropsychologischen Befunden an einer Verwertbarkeit für die Arbeitsfähigkeitsschätzung fehle.
Das Vorbringen des Versicherten, die kognitiven Defizite seien bei der Arbeitsfähigkeitsschätzung nicht berücksichtigt worden, was den Untersuchungsgrundsatz verletze, verfängt im Lichte des Gesagten nicht.
3.3. Abweichend zur Auffassung des Beschwerdeführers, die von ihm erlittene Hirnschädigung habe die festgestellten mittelschweren kognitiven Defizite verursacht, berichteten die Gutachter plausibel, dass dieser zwar im Jahr 2015 einen Sturz aus 1,5 Metern erlitten habe und computertomographisch frontal kleinere intrakranielle Blutungen nachgewiesen worden seien. Sie führten jedoch aus, die neuropsychologische Abklärung habe im Rahmen dieser Expertise keine Störungen im Frontalhirn ergeben. Ausserdem seien neurologische Ausfälle nie nachgewiesen worden. Mithin vermag der Versicherte den Beweiswert des Gutachtens mit dieser Rüge nicht in Frage zu stellen.
3.4. Weshalb die vom Beschwerdeführer vorgebrachte äusserst niedrige Intelligenz (der Psychiater der SMAB AG sprach von einer unter Berücksichtigung von Schulbildung, beruflichem Werdegang sowie klinischem Gesamteindruck unterdurchschnittlichen Intelligenz) dazu führen soll, dass eine Verdeutlichungstendenz nicht angenommen werden kann, wird von ihm nicht nachvollziehbar dargelegt. Die Neuropsychologin gab in Bezug auf die Intelligenz lediglich an, der Beschwerdeführer sei nur vier Jahre zur Schule gegangen, weshalb er in den bildungsabhängigen Tests schlechter abgeschlossen habe als die zugrundeliegende Vergleichspopulation. Aus der Expertise geht nachvollziehbar hervor, auf was sich die Gutachter bei ihrer Annahme, der Versicherte zeige Verdeutlichungs- und Aggravationstendenzen, stützten (vgl. E. 3.2 oben).
3.5. Entgegen dem Beschwerdeführer begründete der psychiatrische Teilgutachter die von ihm attestierte 80%ige Arbeitsfähigkeit in einer angestammten wie auch in einer angepassten Tätigkeit. So führte der Experte aus, beim Beschwerdeführer liege eine leichte Reduktion der Stresstoleranz sowie der Fähigkeit, unter extremen Druck zu arbeiten und sich umzustellen, vor.
4.
Zusammenfassend durfte das kantonale Gericht dem Gutachten der SMAB AG vom 29. August 2017 Beweiskraft beimessen, ohne Bundesrecht zu verletzen. Der Verzicht auf weitere Abklärungen erfolgte ohne Verletzung des Untersuchungsgrundsatzes. Dass die Feststellungen der Vorinstanz in Bezug auf die Arbeitsfähigkeit offensichtlich unrichtig oder sonstwie bundesrechtswidrig sein sollen, wird vom Beschwerdeführer nicht gerügt, weshalb sie für das Bundesgericht verbindlich sind (vgl. E. 1 oben). Eine Rückweisung zu weiteren Abklärungen (an das kantonale Gericht oder die IV-Stelle) erübrigt sich damit.
5.
Die Beschwerde ist unbegründet und der vorinstanzliche Entscheid zu bestätigen.
6.
Dem Ausgang des Verfahrens entsprechend trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 Satz 1 BGG).
Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. September 2020
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Huber