Sachverhalt:
A.
A.a. Die IV-Stelle des Kantons Zürich verneinte mit Verfügung vom 10. Oktober 2011 einen Rentenanspruch des 1971 geborenen A._ gestützt auf die gutachterliche Einschätzung des Dr. med. B._, Facharzt für Psychiatrie und Psychotherapie, vom 15. Juni 2011. Ein im September 2012 eingegangenes Leistungsgesuch des Versicherten lehnte die IV-Stelle mit Verfügung vom 12. August 2014 ab, nachdem sie A._ erneut durch Dr. med. B._ hatte begutachten lassen (Expertise vom 21. Oktober 2013).
A.b. Im Oktober 2018 meldete sich der Versicherte erneut bei der Invalidenversicherung zum Leistungsbezug an. Daraufhin stellte ihm die IV-Stelle vorbescheidweise in Aussicht, sie werde auf das Gesuch nicht eintreten. Dagegen erhob A._ Einwände. In der Folge tätige die Verwaltung verschiedene Abklärungen, sie holte insbesondere einen Bericht des Dr. med. C._, Facharzt für Psychiatrie und Psychotherapie, vom 23. August 2019 und des Hausarztes med. pract. D._, Facharzt für Allgemeine Innere Medizin, vom 5. Mai 2019, der zahlreiche weitere Berichte beilegt hatte, ein. Zu diesen Unterlagen nahm der Regionale Ärztliche Dienst (RAD) am 27. September 2019 Stellung und hielt fest, es zeige sich keine gesundheitliche Verschlechterung. In der Folge verneinte die IV-Stelle nach durchgeführtem Vorbescheidverfahren einen Anspruch auf Leistungen (Verfügung vom 17. März 2020).
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Urteil vom 15. Juni 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des vorinstanzlichen Urteils sei ihm eine Invalidenrente zuzusprechen. Eventualiter sei die Sache zu weiterer Abklärung und Begutachtung an die Vorinstanz zurückzuweisen. Ferner ersucht der Beschwerdeführer um Gewährung der unentgeltlichen Rechtspflege.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 4.2 mit Hinweis). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
1.2. Die Sachverhaltsfeststellung und Beweiswürdigung der Vorinstanz ist nicht schon dann offensichtlich unrichtig (willkürlich), wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Es genügt somit nicht, dass eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Willkür liegt insbesondere vor, wenn die Vorinstanz offensichtlich unhaltbare Schlüsse gezogen, erhebliche Beweise übersehen oder solche grundlos ausser Acht gelassen hat. Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips (<ref-law>) klar und detailliert aufzuzeigen. Auf ungenügend begründete Rügen oder bloss allgemein gehaltene appellatorische Kritik am angefochtenen Entscheid tritt das Bundesgericht nicht ein (vgl. zum Ganzen <ref-ruling> E. 4.2 mit Hinweisen).
2.
2.1. Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie in Bestätigung der Verfügung der Beschwerdegegnerin vom 17. März 2019 einen Rentenanspruch des Beschwerdeführers verneinte.
2.2. Das kantonale Gericht hat die rechtlichen Grundlagen und die Rechtsprechung zum Begriff der Invalidität (<ref-law>) zutreffend dargelegt. Gleiches gilt zur Prüfung des Rentenanspruchs bei einer Neuanmeldung (Art. 87 Abs. 2 und 3 IVV [SR 831.201]), bei der in analoger Weise wie bei einem Revisionsfall nach <ref-law> vorzugehen und zu prüfen ist, ob seit der Rentenverweigerung eine wesentliche Änderung in den tatsächlichen Verhältnissen eingetreten ist (vgl. <ref-ruling> E. 5.3). Darauf wird verwiesen.
3.
3.1. In Würdigung der medizinischen Aktenlage verneinte die Vorinstanz zunächst eine Veränderung in psychiatrischer Hinsicht seit der Verfügung vom 12. August 2014. Zudem zeigten sich - zumindest in einer angepassten Tätigkeit - auch keine Hinweise, dass die Beschwerden an den oberen Sprunggelenken (OSG) oder jene am Rücken (zervikal und lumbal) die Arbeitsfähigkeit massgeblich einschränkten. Nachdem die Vergleichseinkommen ausgehend von demselben statistischen Durchschnittslohn zu berechnen wären, vermöge daraus kein IV-relevanter Gesundheitsschaden resultieren. Das kantonale Gericht kam zum Schluss, es bestehe weiterhin keine massgebende Einschränkung der Arbeitsfähigkeit, weshalb der Beschwerdeführer keinen Anspruch auf Leistungen der Invalidenversicherung habe.
3.2. Der Beschwerdeführer bringt dagegen zusammenfassend vor, die letzte Prüfung der Invalidität vom 12. August 2014 sei fehlerhaft gewesen. Sie basiere auf veralteten Gutachten, welche den Voraussetzungen der neuen bundesgerichtlichen Rechtsprechung nicht genügten. Hinzu komme, dass er seither einen Unfall erlitten und neue somatische Beschwerden habe, die sich auf die Arbeitsfähigkeit auswirkten. Zudem sei auch eine klare Verschlechterung seines psychischen Gesundheitszustandes eingetreten.
4.
4.1. Die Rüge des Beschwerdeführers, die Vorinstanz habe keine weiteren Unterlagen eingeholt, obwohl sie erst am 15. Juni 2021 d.h. mehr als ein Jahr nach der erhobenen Beschwerde entschieden habe, vermag keine Verletzung von Bundesrecht aufzuzeigen. Damit übersieht er, dass die angefochtene Verfügung vom 17. März 2020 verfahrensmässig den Endzeitpunkt des sachverhaltlich relevanten Geschehens markiert (<ref-ruling> E. 4.3; Urteil 8C_413/2021 vom 29. September 2021 E. 4.2 mit Hinweisen).
4.2. Entgegen der Auffassung des Beschwerdeführers bildet auch die geänderte Rechtsprechung zu den psychischen Leiden (<ref-ruling> und 143 V 418) keinen Anlass auf die am 12. August 2014 rechtskräftig verfügte Rentenablehnung zurückzukommen (vgl. <ref-ruling> E. 6; <ref-ruling> E. 5). Deshalb zielt auch der Einwand des Beschwerdeführers ins Leere, soweit er beanstandet, dass die psychiatrischen Gutachten des Dr. med. B._ vom 15. Juni 2011 und 21. Oktober 2013 ohne strukturiertes Beweisverfahren erfolgt seien. Mit einer geänderten Rechtsprechung lässt sich zudem kein weiterer Abklärungsbedarf begründen.
4.3. Der Beschwerdeführer ist der Auffassung, es liege eine Verschlechterung in psychiatrischer Hinsicht vor. Er legt dar, Dr. med. C._ habe Diagnosen gestellt, die in den psychiatrischen Gutachten 2011 und 2013 nicht berücksichtigt worden seien. Zumindest würden sich aber die Diagnosen im Schweregrad unterscheiden. Mit diesem Vorbringen setzte sich schon die Vorinstanz auseinander. Sie hielt dazu fest, dass sich bereits Dr. med. B._ in den Gutachten vom 15. Juni 2011 und 21. Oktober 2013 mit dem Vorliegen einer posttraumatischen Belastungsstörung, andauernden Persönlichkeitsänderung nach Extrembelastung, einer Persönlichkeitsstörung und depressiven Störung befasst und diese Diagnosen verneint habe. Ferner habe dieser auch den geschilderten dissoziativen Zuständen keine relevante Bedeutung zugemessen. Dr. med. C._ habe in seinen Berichten vom 20. Oktober 2018, 21. und 23. August 2019 keine gesundheitliche Verschlechterung dargelegt, sondern die Beschwerden und Befunde in sehr ähnlicher Weise geschildert, wie sie schon in den Berichten der Psychiatrie E._vom 6. Februar 2008, des Dr. med. F._, Facharzt für Psychiatrie und Psychotherapie, vom 16. November 2009 und 18. Oktober 2010 sowie des med. pract. H._ vom 2. November 2012 beschrieben worden seien. Die Vorinstanz kam deshalb zum Schluss, es sei nicht von einer Verschlechterung des psychischen Gesundheitszustandes auszugehen. Diese Schlussfolgerung ist nachvollziehbar begründet und stimmt auch mit der fachärztlichen Einschätzung des RAD vom 27. September 2019 überein. Die Beweiswürdigung und Sachverhaltsfeststellungen des kantonalen Gerichts sind somit entgegen der Ansicht des Beschwerdeführers nicht willkürlich.
4.4.
4.4.1. Gemäss der Vorinstanz kann der Beschwerdeführer aufgrund der Beschwerden am oberen Sprunggelenk und Rücken zumindest noch angepasste Tätigkeiten ausführen. Diese Sachverhaltsfeststellung ist entgegen der vom Beschwerdeführer vertretenen Ansicht nicht unhaltbar, hat doch der Hausarzt med. pract. D._ im Bericht vom 5. Mai 2019 von somatischer Seite nur qualitative Einschränkungen ("Rücken schonende Tätigkeiten mit Sitzmöglichkeiten wegen den OSG-Beschwerden zu bevorzugen") formuliert. Nicht ersichtlich ist, inwiefern diese körperlichen Leiden sich massgeblich auf das unveränderte psychische Zustandsbild auswirken sollen. Eine ungünstige Wechselwirkung der verschiedenen Beschwerden kann den Akten nicht entnommen werden, erwähnt Dr. med. C._ den Unfall in der Anamnese doch nicht einmal. Die Behauptung des Beschwerdeführers, eine gesundheitliche Verschlechterung ergebe sich aus der Kombination von Verschlimmerungen des psychischen Zustands mit den somatischen Beschwerden aufgrund des Unfalls, ist somit unbegründet. Soweit der Beschwerdeführer schliesslich fordert, die Unfallakten hätten eingeholt werden müssen, kann ihm nicht gefolgt werden. Die Einschätzung des Hausarztes erfolgte nämlich in Kenntnis des Unfalls vom 17. Juni 2016 und der daraus resultierenden Restbeschwerden, die med. pract. D._ bereits im Bericht vom 18. Juni 2017 als leicht eingestuft hat (vgl. weiter Bericht des Chiropraktors Dr. G._ vom 5. April 2017).
4.4.2. Die Vorinstanz verneinte in der Folge eine massgebliche Veränderung in somatischer Hinsicht, da aus den qualitativen Einschränkungen kein Rentenanspruch resultiere, nachdem die Vergleichseinkommen von demselben statistischen Durchschnittswert zu berechnen seien. Diese nicht substanziiert bestrittene Erwägung ist bundesrechtskonform, ist doch eine Gesundheitsverschlechterung revisionsrechtlich nur massgeblich, wenn damit ein quantitatives Element einhergeht, das den Rentenanspruch berührt (vgl. <ref-ruling> E. 5.2; Urteil 9C_113/2021 vom 23. Juni 2021 E. 2).
4.5. Zusammenfassend ist festzuhalten, dass die vorinstanzliche Beweiswürdigung nicht willkürlich ist. Diese verletzt zudem weder den Untersuchungsgrundsatz noch den Anspruch auf rechtliches Gehör, sind doch von weiteren Abklärungen keine zusätzlichen Erkenntnisse zu erwarten (<ref-ruling> E. 6.5; Urteil 9C_216/2020 vom 8. Juli 2020 E. 3.2). Die Beschwerde ist unbegründet.
5.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>). Dem Gesuch um unentgeltliche Rechtspflege kann entsprochen werden (<ref-law>). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Jürg Federspiel wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. Dezember 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Möckli