Sachverhalt:
A.
Der 1971 geborene A._ meldete sich am 26. Februar 2015 bei der Invalidenversicherung zum Leistungsbezug an. Mit Vorbescheid vom 26. Februar 2019 kündigte die IV-Stelle des Kantons Zürich die Abweisung des Leistungsbegehrens an. Nachdem A._ dagegen Einwand erhoben hatte, holte sie bei der Ärztlichen Begutachtungsinstitut GmbH (ABI) ein polydisziplinäres Gutachten ein (Expertise vom 22. Juni 2020) und verneinte einen Anspruch auf eine Invalidenrente (Verfügung vom 26. November 2020).
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Urteil vom 11. Oktober 2021 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, unter Aufhebung des vorinstanzlichen Urteils sowie der Verfügung der IV-Stelle vom 26. November 2020 sei die IV-Stelle zu verpflichten, ihm eine ganze Invalidenrente zuzusprechen. Ferner ersucht er um Gewährung der unentgeltlichen Rechtspflege.
Die IV-Stelle schliesst auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Die Rechtsvertreterin des Beschwerdeführers hat mit Eingabe vom 14. Januar 2022 eine Honorarnote eingereicht.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG; zum Ganzen: <ref-ruling> E. 4).
1.2. Die Rüge des fehlerhaft festgestellten Sachverhalts bedarf einer qualifizierten Begründung (<ref-ruling> E. 5.1). Es reicht nicht aus, in allgemeiner Form Kritik daran zu üben oder einen von den tatsächlichen Feststellungen der Vorinstanz abweichenden Sachverhalt zu behaupten oder die eigene Beweiswürdigung zu erläutern (Urteil 9C_779/2010 vom 30. September 2011 E. 1.1.1 mit Hinweisen, nicht publ. in: <ref-ruling>, aber in: SVR 2012 BVG Nr. 11 S. 44). Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid geht das Bundesgericht nicht ein (<ref-ruling> E. 2.2).
2.
In formeller Hinsicht moniert der Beschwerdeführer eine Verletzung des rechtlichen Gehörs (<ref-law>), da sich das kantonale Gericht mit seinen Vorbringen, er sei unter anderem bei einem ausgewiesenen Schmerzspezialisten in Behandlung, nicht befasst habe. Damit dringt er nicht durch. Dem angefochtenen Urteil ist durchaus zu entnehmen, dass sich die Vorinstanz bei der Feststellung, der Beschwerdeführer sei gegenwärtig nicht in ambulanter psychiatrisch-psychotherapeutischer Behandlung, auf das ABI-Gutachten vom 22. Juni 2020 gestützt hat. Darüber hinaus geht aus dem Urteil hervor, von welchen Überlegungen sich das kantonale Gericht betreffend die Arbeitsfähigkeit in psychischer Hinsicht hat leiten lassen. Eine Verletzung der Begründungspflicht bzw. des Anspruchs auf rechtliches Gehör liegt daher nicht vor (vgl. statt vieler: <ref-ruling> E. 4.3.2 mit Hinweisen).
3.
3.1. Streitig und zu prüfen ist, ob die Vorinstanz bundesrechtskonform in Bestätigung der Verfügung der IV-Stelle vom 26. November 2020einen Rentenanspruch verneint hat.
3.2. Am 1. Januar 2022 trat das revidierte Bundesgesetz über die Invalidenversicherung (IVG; SR 831.20) in Kraft (Weiterentwicklung der IV [WEIV]; Änderung vom 19. Juni 2020, AS 2021 705, BBl 2017 2535). Die dem hier angefochtenen Urteil zugrunde liegende Verfügung erging vor dem 1. Januar 2022. Nach den allgemeinen Grundsätzen des intertemporalen Rechts und des zeitlich massgebenden Sachverhalts (statt vieler: <ref-ruling> E. 4.3.1; <ref-ruling> E. 1 mit Hinweisen) sind daher die Bestimmungen des IVG und diejenigen der Verordnung über die Invalidenversicherung (IVV; SR 831.201) in der bis 31. Dezember 2021 gültig gewesenen Fassung anwendbar.
3.3. Das kantonale Gericht hat die Begriffe der Erwerbsunfähigkeit (<ref-law>) und der Invalidität (<ref-law> in Verbindung mit <ref-law>), die Voraussetzungen des Anspruchs auf eine Invalidenrente (<ref-law>) sowie die Rechtsprechung zum Beweiswert medizinischer Berichte und Gutachten (<ref-ruling> E. 5.1; <ref-ruling> E. 3a) zutreffend dargelegt. Richtig sind auch die Erwägungen zur Beurteilung der Invalidität bei psychischen Leiden anhand der sogenannten Standardindikatoren (<ref-ruling>; <ref-ruling>). Darauf wird verwiesen.
4.
Die Vorinstanz mass der ABI-Expertise vom 22. Juni 2020 Beweiskraft zu und stellte gestützt darauf fest, der Beschwerdeführer sei in einer leidensangepassten Tätigkeit 80 % arbeitsfähig. Sie bestätigte das von der IV-Stelle ermittelte Valideneinkommen von Fr. 62'899.20 und das Invalideneinkommen von Fr. 53'322.- sowie den rentenausschliessenden Invaliditätsgrad von 15 %.
5.
5.1. Soweit der Beschwerdeführer in weiten Teilen der Beschwerde vor Bundesgericht die bereits im vorinstanzlichen Verfahren vorgebrachten Argumente wortwörtlich wiederholt, ist darauf von vornherein nicht einzugehen (<ref-law>; <ref-ruling> E. 2.3; Urteil 8C_542/2021 vom 26. Januar 2022 E. 7).
5.2. Der Beschwerdeführer macht geltend, die ABI-Expertise sei widersprüchlich, da die Gutachter lediglich eine 80%ige Arbeitsfähigkeit in einer angepassten Tätigkeit attestiert, aber dennoch eine achtstündige Tätigkeit für zumutbar erachtet hätten. Das kantonale Gericht hat dazu bereits nachvollziehbar dargelegt, weshalb es sich keineswegs um einen Widerspruch handelt. Es ist für das Bundesgericht verbindlich (vgl. E. 1 oben) davon ausgegangen, das allgemeininternistische Teilgutachten halte zwar eine Arbeitstätigkeit ganztags (bei voller Stundenpräsenz) für zumutbar. Allerdings sei die Leistungsfähigkeit aufgrund der Herzerkrankung mit persistierendem Vorhofflimmern und mittelschwer eingeschränkter linksventrikulärer Funktion um 20 % eingeschränkt. Inwiefern dies ein nicht auflösbarer Widerspruch sein soll, wird in der Beschwerde nicht näher dargelegt und ist auch nicht ersichtlich. Die Vorinstanz hat der ABI-Expertise vom 22. Juni 2020 bundesrechtskonform Beweiswert zugemessen.
5.3.
5.3.1. Der Beschwerdeführer listet die von den ABI-Gutachtern genannten Diagnosen auf und will einzig mit Blick auf deren Anzahl eine vollständige Arbeitsunfähigkeit begründen. Diese Rüge zielt ins Leere. Es ist daran zu erinnern, dass für die Beurteilung der Arbeitsfähigkeit nicht die Diagnosen, sondern die daraus resultierenden funktionellen Einschränkungen entscheidend sind (vgl. etwa Urteile 9C_549/2017 vom 13. Februar 2018 E. 3.3; 8C_355/2015 vom 21. Juli 2015 E. 3.3).
5.3.2. Mit Hinweis auf das Ergebnis der Magnetresonanztomographie (MRT) der Klinik B._ vom 18. August 2015 moniert der Beschwerdeführer, die Schilderungen im ABI-Gutachten seien schlicht falsch. D ie Vorinstanz hat sich auch mit dieser Rüge bereits auseinandergesetzt und weder offensichtlich unrichtig noch sonstwie bundesrechtswidrig erkannt, die ABI-Experten hätten die MRT ausführlich diskutiert und den Befund in die Liste der Diagnosen ohne Auswirkung auf die Arbeitsfähigkeit aufgenommen. Dass sie dabei allenfalls zu einem anderen Ergebnis gelangt sind als die Ärzte der Klinik B._, wie der Beschwerdeführer in eigener Interpretation der medizinischen Berichte geltend macht, lässt ihre Schlussfolgerung nicht als falsch erscheinen.
5.3.3. Die vom Beschwerdeführer vorgebrachte Herzproblematik haben die ABI-Gutachter berücksichtigt. Sie sind aufgrund der hypertensiven und koronaren Herzkrankheit davon ausgegangen, dass er keine körperlich mittelschwer- und schwerbelastende Tätigkeiten mehr ausüben könne. Für körperlich leichte Tätigkeiten haben die ABI-Experten aus allgemeininternistischer Sicht eine Arbeits- und Leistungsfähigkeit von 80 % attestiert. Das kantonale Gericht hat die medizinische Aktenlage gewürdigt und nachvollziehbar begründet, weshalb die vom Beschwerdeführer nach Erstattung des ABI-Gutachtens aufgelegten Berichte der behandelnden Ärzte Letzteres nicht in Zweifel zu ziehen vermöchten. Insbesondere ist die Vorinstanz darauf eingegangen, dass die Berichte des Spitals C._ vom 25. Mai 2020 und der Klinik B._ vom 8. Oktober 2020 keine neuen Erkenntnisse enthalten würden. Es kann offen bleiben, ob die vom Beschwerdeführer letztinstanzlich erstmals aufgelegten Berichte des Spitals C._ vom 21. Mai und 3. September 2021 zu berücksichtigen sind (vgl. zur Zulässigkeit von unechten Noven: <ref-law>; <ref-ruling> E. 1.2). Denn er zeigt nicht auf, inwiefern diese ärztlichen Stellungnahmen eine willkürliche vorinstanzliche Beweiswürdigung begründen sollen.
5.3.4. Das kantonale Gericht hat Sachverhaltsfeststellungen zu den Standardindikatoren gemäss BGE <ref-ruling> getroffen und ist der im psychiatrischen ABI-Teilgutachten attestierten Arbeitsfähigkeit von 90 % gefolgt. Der Beschwerdeführer bringt dagegen mehrheitlich seine abweichende Sicht des Sachverhaltes vor, ohne in rechtsgenüglicher Weise aufzuzeigen, inwiefern die vorinstanzlichen Erwägungen willkürlich sein sollen. Soweit er namentlich moniert, beim Komplex "Gesundheitsschaden" seien sämtliche Beeinträchtigungen (auch die somatischen) zu berücksichtigen, ist festzuhalten, dass dies im Rahmen der gutachterlichen Konsensbeurteilung stattgefunden hat. Weiter hat sich das kantonale Gericht mit der Frage der Komorbidität befasst und nicht offensichtlich unrichtig festgehalten, der Beschwerdeführer leide zwar an somatischen Symptomen, allerdings habe die psychiatrische Gutachterin diesen keinen massgeblichen Einfluss im Sinne einer Komorbidität zugemessen. Schliesslich kann der Beschwerdeführer mit dem Hinweis auf den Bericht von Dr. med. D._, Fachärztin Psychiatrie und Psychotherapie, vom 13. Oktober 2020 sowie auf seine Betreuung durch die Spitex nichts zu seinen Gunsten ableiten. Das kantonale Gericht hat sich damit bereits befasst und willkürfrei erläutert, weshalb diese Vorbringen an der gutachterlichen Einschätzung nichts zu ändern vermöchten.
5.3.5. Vor dem Hintergrund des Gesagten sind die vorinstanzlichen Feststellungen zur Arbeitsfähigkeit des Beschwerdeführers für das Bundesgericht verbindlich (E. 1 oben).
5.4. Die vom kantonalen Gericht ermittelten Vergleichseinkommen werden nicht bestritten. Der Beschwerdeführer zitiert jedoch den Artikel von RIEMER-KAFKA/SCHWEGLER, Der Weg zu einem invaliditätskonformeren Tabellenlohn, in: SZS 6/2021, S. 287 ff., sowie das Rechtsgutachten "Grundprobleme der Invaliditätsbemessung in der Invalidenversicherung" vom 22. Januar 2021 von GÄCHTER/EGLI/MEIER/FILIPPO und bringt vor, es sei ihm ein Abzug vom Tabellenlohn in der Höhe von 25 % zu gewähren, da ihm die mittelschweren bis schweren Tätigkeiten nicht mehr zumutbar seien. Es kann offen bleiben, ob die Vorinstanz zu Recht keinen leidensbedingten Abzug gewährt hat. So oder anders resultiert bei einem Tabellenlohnabzug im Umfang von 25 % ein rentenausschliessender Invaliditätsgrad von gerundet 36 % (vgl. die Vergleichseinkommen in E. 4; zur Rundung siehe <ref-ruling>). Die Beschwerde ist unbegründet.
6.
6.1. Dem Ausgang des Verfahrens entsprechend hat grundsätzlich der Beschwerdeführer die Gerichtskosten zu bezahlen (<ref-law>). Seinem Gesuch um unentgeltliche Rechtspflege (<ref-law>) kann jedoch entsprochen werden. Es wird indes ausdrücklich auf <ref-law> hingewiesen, wonach er der Bundesgerichtskasse Ersatz zu leisten hat, wenn er später dazu in der Lage ist.
6.2. Die Rechtsvertreterin des Beschwerdeführers macht mit Kostennote vom 14. Januar 2022 ein Honorar von Fr. 2842.40 sowie Auslagen und Ersatz der Mehrwertsteuer von zusammen Fr. 317.-, insgesamt also Fr. 3159.40 geltend. Nach <ref-law> und Art. 10 des Reglements über die Parteientschädigung und die Entschädigung für die amtliche Vertretung im Verfahren vor dem Bundesgericht vom 31. März 2006 (SR 173.110.210.3) hat die amtlich bestellte Anwältin Anspruch auf eine angemessene Entschädigung aus der Bundesgerichtskasse, soweit der Aufwand für die Vertretung nicht aus einer zugesprochenen Parteientschädigung gedeckt werden kann. Praxisgemäss wird für einen Normalfall Fr. 2800.- zugesprochen, Auslagen und Mehrwertsteuer inbegriffen. Mit Blick darauf, dass der zu beurteilende Fall weder in sachverhaltlicher noch in rechtlicher Hinsicht besonders komplex ist und die Beschwerde in weiten Teilen die bereits im vorinstanzlichen Verfahren vorgebrachten Argumente wortwörtlich wiederholt, ist die Entschädigung auf den Normalansatz von Fr. 2800.- festzusetzen (vgl. Urteil 9C_12/2021 vom 11. Oktober 2021 E. 7.2.2).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwältin Stéphanie Baur wird als unentgeltliche Anwältin bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Der Rechtsvertreterin des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. April 2022
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Wirthlin
Die Gerichtsschreiberin: Huber