Sachverhalt:
A.
Der 1982 geborene A._ meldete sich am 26. Februar 2016 bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Stadt holte bei Dr. med. B._, Facharzt für Psychiatrie und Psychotherapie, ein Gutachten ein (psychiatrische Expertise vom 28. November 2019 sowie ergänzende Stellungnahme vom 12. März 2020) und sprach dem Versicherten - nach durchgeführtem Vorbescheidverfahren - rückwirkend ab 1. August 2016 bis 28. Februar 2017 eine befristete ganze Invalidenrente zu (Verfügung vom 18. Mai 2020).
B.
Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Basel-Stadt mit Urteil vom 9. Februar 2021 ab.
C.
Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, in Abänderung des angefochtenen Urteils und der Verfügung der IV-Stelle vom 18. Mai 2020 sei ihm eine ganze Invalidenrente auch für den Zeitraum ab 1. März 2017 zuzusprechen. Eventualiter sei die Angelegenheit zur weiteren Abklärung, insbesondere zur Einholung eines verwaltungsunabhängigen medizinischen Gutachtens, an die Vorinstanz oder die IV-Stelle zurückzuweisen. Im Weiteren ersucht er um Gewährung der unentgeltlichen Rechtspflege.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 f. BGG; <ref-ruling> E. 2.2.1). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG).
2.
2.1. Der Beschwerdeführer rügt in erster Linie eine Verletzung des Anspruchs auf rechtliches Gehör. Die Vorinstanz habe sich mit der Einschätzung seines behandelnden Psychiaters Dr. med. C._ vom 20. Februar 2020, wonach der Versicherte arbeitsunfähig sei, nicht auseinandergesetzt. Weiter habe sie nicht geprüft, ob sich die Schmerzen im Arm auf eine Erwerbstätigkeit auswirken würden.
2.2. Das kantonale Gericht muss sich nicht mit allen Parteistandpunkten einlässlich auseinandersetzen und nicht jedes einzelne Vorbringen ausdrücklich widerlegen; vielmehr genügt es, wenn der Entscheid die wesentlichen Faktoren hinlänglich feststellt und würdigt, sodass er gegebenenfalls sachgerecht angefochten werden kann (<ref-ruling> E. 9.2; <ref-ruling> E. 2.2.1; <ref-ruling> E. 4.1; je mit Hinweisen). Diese Anforderungen erfüllt das angefochtene Urteil. Die Vorinstanz bezog den Bericht des Dr. med. C._ in die Würdigung der medizinischen Akten mit ein und begründete, weshalb sie ab dem 16. November 2016 wieder von einer 100%igen Arbeitsfähigkeit in einer angepassten Tätigkeit ausging. Dem Beschwerdeführer war eine sachgerechte Anfechtung des vorinstanzlichen Erkenntnisses möglich, weshalb eine Gehörsverletzung zu verneinen ist.
3.
Streitig und zu prüfen ist weiter, ob das kantonale Gericht Bundesrecht verletzte, indem es in Bestätigung der Verfügung vom 18. Mai 2020 einen Rentenanspruch ab 1. März 2017 verneinte.
3.1. Die Vorinstanz stellte in psychiatrischer Hinsicht auf das Gutachten des Dr. med. B._ vom 28. November 2019 sowie auf dessen ergänzende Stellungnahme vom 12. März 2020 ab und erkannte, es liege kein psychisches Leiden mit Auswirkung auf die Arbeitsfähigkeit vor.
3.2. Dagegen macht der Beschwerdeführer geltend, die im psychiatrischen Gutachten attestierte Arbeitsfähigkeit sei nicht nachvollziehbar. Das kantonale Gericht hätte folglich nicht auf diese Expertise abstellen dürfen. Eine völlige Ruhigstellung seines Armes sei notwendig, weshalb er keiner Erwerbstätigkeit nachgehen könne und somit auch ab dem 1. März 2017 Anspruch auf eine ganze Rente habe.
4.
4.1. Dr. med. B._ setzte sich in der Expertise vom 28. November 2019 zwar nicht explizit mit sämtlichen anderslautenden ärztlichen Stellungnahmen sowie mit dem Ergebnis der leistungsorientierten beruflichen Abklärung der Institution D._ (Bericht vom 26. Januar 2018) auseinander. Er befasste sich jedoch mit der bereits in den Vorakten thematisierten Schmerzproblematik und diagnostizierte eine chronische Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.41). Der Gutachter äusserte sich in der Expertise wie auch in der Stellungnahme vom 12. März 2020 zu den Berichten des behandelnden Arztes Dr. med. C._ und begründete, weshalb er, anders als der behandelnde Psychiater, eine Auswirkung auf die Arbeitsfähigkeit verneinte. Darüber hinaus ist entscheidend, dass Dr. med. B._ sämtliche medizinischen Unterlagen zur Verfügung standen. Die Expertise enthält einleitend unter der Sachüberschrift "Aktenauszug" eine Zusammenstellung der vorbestehenden Unterlagen der IV-Stelle betreffend den Zeitraum von Juni 2015 bis August 2019 und ist somit in Kenntnis der fachärztlichen Stellungnahmen und dem Bericht der Institution D._ verfasst worden.
4.2. Im Unterschied zu einer anhaltenden Schmerzstörung (ICD-10 F45.4), bei der ein andauernder, schwerer und quälender Schmerz im Vordergrund steht, wird bei der hier von Dr. med. B._ diagnostizierten chronischen Schmerzstörung mit somatischen und psychischen Faktoren (ICD-10 F45.41) bei den Diagnosekriterien nicht ein quälender Schmerz, sondern ein über sechs Monate bestehender Schmerz in mehreren anatomischen Regionen beschrieben (<ref-ruling> E. 5.1). Fehlt, wie im vorliegenden Fall, in der Diagnose die Schweregradbezogenheit, zeigt sich die Schwere der Störung in ihrer rechtlichen Relevanz erst bei den funktionellen Auswirkungen (<ref-ruling> E. 5.2.2). Die Rüge des Versicherten, der Gutachter habe zwar quälende Schmerzen bei der Diagnosestellung anerkannt, diese dann aber bei der funktionalen Auswirkung von vornherein zu Unrecht nicht berücksichtigt, obwohl sich ein quälender Schmerz immer auf die Arbeitsfähigkeit auswirke, zielt ins Leere. Der Beschwerdeführer legt nicht dar, inwiefern Dr. med. B._ von einem quälenden Schmerz - wie er bei der Diagnose einer anhaltenden Schmerzstörung gefordert wird - ausgegangen sein soll. Ein solcher wird nach dem Gesagten für die hier relevante Diagnose (ICD-10 F45.41) denn auch nicht verlangt.
4.3.
4.3.1. Das kantonale Gericht stellte fest, dass Dr. med. B._ bei der psychiatrischen Untersuchung keine psychopathologischen Befunde habe erheben können. Gemäss Gutachter gestalte der Beschwerdeführer seinen Alltag aktiv. Er habe am Morgen keine Mühe aufzustehen. Tagsüber unternehme er mehrere längere Spaziergänge und könne sich im öffentlichen Raum bewegen, fahre regelmässig in den Kosovo, habe regelmässigen Kontakt mit seinen Brüdern und besuche ebenfalls regelmässig die Fussballspiele seines Sohnes. Er sei folglich im Alltag nicht durch psychische Beschwerden beeinträchtigt. Laut Vorinstanz wies Dr. med. B._ in seiner Stellungnahme vom 12. März 2020 nochmals darauf hin, dass der Versicherte aufgrund seiner ausgeprägten subjektiven Krankheitsüberzeugung keine Tagesstruktur und keine sozialen Kontakte bei der Arbeit habe. Mit Blick auf diese Feststellungen kam das kantonale Gericht zum Schluss, es könne insgesamt - auch angesichts des Fehlens einer erheblichen körperlichen Begleiterkrankung - nachvollzogen werden, dass Dr. med. B._ ein psychisches Leiden mit Auswirkung auf die Arbeitsfähigkeit verneint habe bzw. die von ihm diagnostizierte Schmerzstörung ohne Einfluss auf die Arbeitsfähigkeit geblieben sei.
Der Beschwerdeführer bestreitet die vorinstanzlichen Sachverhaltsfeststellungen in Bezug auf seinen aktiv gestalteten Alltag nicht, weshalb sie für das Bundesgericht verbindlich sind (E. 1). Soweit er geltend macht, eine Prüfung der Auswirkung der Schmerzen auf die Arbeitsfähigkeit sei unterblieben, kann ihm mit Blick auf das soeben Gesagte nicht gefolgt werden.
4.3.2. Dr. med. B._ berichtete, dass sich der Beschwerdeführer bei Dr. med. C._ in adäquater ambulanter Behandlung befinde. Psychopharmaka nehme der Versicherte keine ein. Die Therapie helfe ihm, mit der schwierigen psychosozialen Situation besser umzugehen. Die ausgeprägte subjektive Krankheitsüberzeugung könne weder aus psychiatrischer noch aus somatischer Sicht hinreichend objektiviert werden. Sie sei weitgehend krankheitsfremd und werde sich durch eine psychiatrische Behandlung kaum beeinflussen lassen. Die Vorinstanz leitete aus diesen Ausführungen lediglich ab, dass namentlich die geringe Therapieintensität gegen eine erhebliche psychische Erkrankung spreche. Dass sie daraus den Schluss gezogen haben soll, der Leidensdruck des Versicherten sei nicht gross genug und er habe nicht alle Therapiemöglichkeiten ausgeschöpft, geht aus dem angefochtenen Urteil nicht hervor, weshalb der Beschwerdeführer mit der Rüge, das kantonale Gericht habe in dieser Hinsicht den Sachverhalt offensichtlich unrichtig festgestellt, nichts zu seinen Gunsten ableiten kann.
4.4. Die Vorinstanz erkannte dem psychiatrischen Gutachten von Dr. med. B._ vom 28. November 2019 zu Recht Beweiswert zu. Sie verletzte auch kein Bundesrecht, indem sie gestützt auf diese Expertise (inkl. Stellungnahme vom 12. März 2020) von einer in psychiatrischer Hinsicht uneingeschränkten Arbeitsfähigkeit ausging und in zulässiger antizipierter Beweiswürdigung (<ref-ruling> E. 5.3) auf weitere Abklärungen verzichtete. Es besteht kein zusätzlicher Abklärungsbedarf im Sinne des Eventualbegehrens des Beschwerdeführers.
4.5. Die Erwägungen des kantonalen Gerichts zum somatischen Gesundheitszustand blieben letztinstanzlich unbestritten, weshalb sich Weiterungen dazu erübrigen (vgl. E. 1).
5.
Die Beschwerde ist unbegründet. Es bleibt beim vorinstanzlichen Urteil.
6.
Dem Ausgang des Verfahrens entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Die unentgeltliche Rechtspflege (im Sinne der vorläufigen Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung, Art. 64 Abs. 1 und 2 BGG) kann gewährt werden. Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach der Beschwerdeführer der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn er später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Dem Beschwerdeführer wird die unentgeltliche Rechtspflege gewährt und Advokat Dr. Axel Delvoigt wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter des Beschwerdeführers wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Juni 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Huber