Sachverhalt:
A.
A.a. Der 1973 geborene A._ arbeitete vom 21. März 2007 bis zum 17. Dezember 2008 als Raumpfleger bei der B._ GmbH. Er meldete sich am 8. Oktober 2013 (erneut) wegen einer psychischen Erkrankung bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle Basel-Stadt zog diverse medizinische Berichte sowie die Akten der Suva bei und liess den Versicherten durch die Dres. med. C._, Facharzt für Psychiatrie und Psychotherapie FMH, und D._, Facharzt für Rheumatologie FMH, bidisziplinär begutachten. Gestützt auf die Expertisen vom 9./11. September 2014 lehnte die IV-Stelle das Begehren um Ausrichtung einer Invalidenrente mit Verfügung vom 10. November 2014 ab. Dies wurde vom Bundesgericht mit Urteil vom 4. Dezember 2015 letztinstanzlich bestätigt.
A.b. Mit Schreiben vom 19. April 2018 meldete sich A._ erneut bei der Invalidenversicherung zum Leistungsbezug an. Er wies darauf hin, dass seit der Verfügung vom 10. November 2014 zwei Operationen am Rücken erfolgt seien und sich seine depressive Erkrankung verschlechtert habe. Die IV-Stelle holte verschiedene Berichte der behandelnden Ärzte ein und erteilte den Dres. med. C._ und D._ den Auftrag zu einer Verlaufsbegutachtung. Die Expertisen inklusive Konsensbeurteilung datieren vom 8. und 18. März 2018. Nach erfolgtem Vorbescheid vom 5. April 2019 sowie der Einholung weiterer medizinischer Akten und Stellungnahmen lehnte die IV-Stelle das Leistungsbegehren des Versicherten mit Verfügung vom 7. Juli 2020 wiederum ab, da sich die tatsächlichen Verhältnisse seit der Verfügung vom 10. November 2014 nicht entscheidwesentlich verändert hätten.
B.
Das Sozialversicherungsgericht des Kantons Basel-Stadt wies eine dagegen geführte Beschwerde mit Urteil vom 25. Januar 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und beantragen, in Aufhebung des kantonalen Urteils sei die Sache an die Vorinstanz zurückzuweisen, damit diese ein bidisziplinäres rheumatologisches/psychiatrisches Gutachten einhole und in der Folge neu entscheide.
Das Bundesgericht führt keinen Schriftenwechsel durch.

Erwägungen:
1.
1.1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG; zum Ganzen <ref-ruling> E. 4).
1.2. Die vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit des Beschwerdeführers beziehen sich grundsätzlich auf eine Tatfrage (<ref-ruling> E. 3.2), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat. Die konkrete Beweiswürdigung betrifft ebenfalls eine Tatfrage (Urteil 9C_182/2020 vom 17. September 2020 E. 1.2). Dagegen geht es bei der Beachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1 und Art. 61 lit. c ATSG; statt vieler: Urteil 9C_156/2020 vom 9. Juli 2020 E. 1.2 mit Hinweis) und der Beweiswürdigungsregeln um eine Rechtsfrage (<ref-ruling> E. 3.2 und 4), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (<ref-law> und <ref-law>; <ref-ruling> E. 1.4.1 und 1.4.2) frei überprüfen kann (<ref-law>).
2.
Streitgegenstand bildet die Frage, ob das kantonale Gericht Bundesrecht verletzte, indem es die von der Beschwerdegegnerin auf Neuanmeldung des Beschwerdeführers hin am 7. Juli 2020 verfügte Ablehnung des Rentenanspruchs bestätigt hat.
3.
3.1. Der Anspruch auf Leistungen der Invalidenversicherung setzt unter anderem voraus, dass die versicherte Person invalid oder von Invalidität unmittelbar bedroht ist. Invalidität ist gemäss <ref-law> die voraussichtlich bleibende oder längere Zeit dauernde ganze oder teilweise Erwerbsunfähigkeit.
3.2. Ist im Rahmen einer Neuanmeldung eine anspruchserhebliche Änderung glaubhaft gemacht, so ist die Verwaltung verpflichtet, den Rentenanspruch in tatsächlicher und rechtlicher Hinsicht umfassend zu prüfen (SVR 2014 IV Nr. 33 S. 121, 8C_746/2013 E. 2); sie hat demnach in analoger Weise wie bei einem Revisionsfall nach <ref-law> vorzugehen (vgl. dazu <ref-ruling>). Stellt sie fest, dass der Invaliditätsgrad seit Erlass der früheren rechtskräftigen Verfügung keine Veränderung erfahren hat, so weist sie das neue Gesuch ab. Andernfalls hat sie zunächst noch zu prüfen, ob die festgestellte Veränderung genügt, um nunmehr eine anspruchsbegründende Invalidität zu bejahen, und hernach zu beschliessen.
3.3. Zu berücksichtigen ist, dass weder eine im Vergleich zu früheren ärztlichen Einschätzungen ungleich attestierte Arbeitsunfähigkeit noch eine unterschiedliche diagnostische Einordnung des geltend gemachten Leidens genügt, um auf einen veränderten Gesundheitszustand zu schliessen. Notwendig ist vielmehr eine veränderte Befundlage (vgl. nebst vielen: SVR 2012 IV Nr. 18 S. 81, 9C_418/2010 E. 4.2; Urteile 9C_135/2021 vom 27. April 2021 E. 2. und 8C_703/2020 vom 4. März 2021 E. 5.2.1.1, je mit Hinweisen).
4.
Das kantonale Gericht kam nach Würdigung der medizinischen Aktenlage wie bereits zuvor die Beschwerdegegnerin zum Schluss, es fehle im Vergleich zum massgeblichen Referenzzeitpunkt (Verfügung vom 10. November 2014) an einer wesentlichen Änderung des Gesundheitszustandes und damit an einer anspruchsrelevanten Änderung des Invaliditätsgrades. Es hielt dafür, die Verlaufsgutachten vom 8. und 18. März 2019 der Dres. med. D._ und C._ seien beweiskräftig und es könne auf diese abgestellt werden.
5.
Der Beschwerdeführer bringt vor, dem psychiatrischen Gutachten des Dr. med. C._ vom 18. März 2019 fehle es an Beweiskraft. Indem die Vorinstanz gegenteilig entschieden habe, sei sie in willkürliche Beweiswürdigung verfallen. Letztinstanzlich wird nicht geltend gemacht, dass sich der somatische Gesundheitszustand wesentlich verändert habe.
5.1. Zunächst wird gerügt, Dr. med. C._ sei von der Beschwerdegegnerin wirtschaftlich abhängig. Das Gutachten vom 18. März 2019 sei deshalb wie eine versicherungsinterne Beurteilung zu würdigen. Schon bei geringen Zweifeln an der Zuverlässigkeit und Schlüssigkeit der versicherungsinternen ärztlichen Feststellungen seien ergänzende Abklärungen vorzunehmen (<ref-ruling> E. 5.2; <ref-ruling> E. 4.4). Solche seien hier gegeben. Darüber hinaus wird in der Beschwerde geltend gemacht, das Explorationsgespräch zwischen Dr. med. C._ und dem Beschwerdeführer habe lediglich rund eine Stunde gedauert, weshalb bereits deswegen leichte Zweifel an der Validität der Expertise angebracht seien.
5.1.1. Das kantonale Gericht hat bezüglich des bereits im vorinstanzlichen Verfahren vorgebrachten Arguments der wirtschaftlichen Abhängigkeit des Gutachters auf die ständige Rechtssprechung des Bundesgerichts hingewiesen. Demnach führen auch der regelmässige Beizug eines Gutachters oder einer Begutachtungsinstitution durch den Versicherungsträger, die Anzahl der beim selben Arzt in Auftrag gegebenen Gutachten und Berichte sowie das daraus resultierende Honorarvolumen für sich allein genommen nicht zum Ausstand (<ref-ruling> E. 1.3.3 f.). Dem bleibt nichts hinzuzufügen. Ob bei einem Experten, der praktisch ausschliesslich Gutachten im Auftrag der Invalidenversicherung erstellt, allenfalls höhere Anforderungen an den Beweiswert seiner Ausführungen - vergleichbar mit solchen eines versicherungsinternen Sachverständigen - gestellt werden sollen (vgl. in dieser Hinsicht SVR 2017 IV Nr. 14 S. 33, 8C_354/2016 E. 5.3), kann hier aber offen bleiben, da wie im Folgenden gezeigt wird, keine auch nur geringen Zweifel an der Zuverlässigkeit und Schlüssigkeit der gutachterlichen Ausführungen und Erkenntnissen des Dr. med. C._ in der Expertise vom 18. März 2019 erkennbar sind.
5.1.2. Die Dauer der psychiatrischen Exploration unterliegt grundsätzlich der Fachkenntnis und dem Ermessensspielraum des Experten (Urteile 9C_206/2021 vom 10. Juni 2021 E. 4.2.2, 8C_370/2020 vom 15. Oktober 2020 E. 5.2). Nach konstanter Rechtsprechung kommt der Dauer einer Exploration nicht allein entscheidende Bedeutung zu; massgebend sind vielmehr Inhalt und Schlüssigkeit des Gutachtens (vgl. etwa das Urteil 8C_55/2018 vom 30. Mai 2018 E. 6.4.3 mit Hinweis). Die Vorinstanz stellte hinsichtlich auch dieser bereits vor dem kantonalen Gericht erhobenen Rüge fest, die im Gutachten festgehaltenen Aussagen des Beschwerdeführers seien umfangreich, die Expertise sei inhaltlich vollständig sowie im Ergebnis schlüssig und es gebe keinen Hinweis dafür, dass die Begutachtung durch Dr. med. C._ nicht lege artis vorgenommen worden sei. Für den Vorwurf, die eine Stunde dauernde Untersuchung durch den psychiatrischen Experten sei nicht regelkonform erfolgt, fehlen denn auch konkrete Anhaltspunkte.
5.1.3. Schliesslich durfte das kantonale Gericht bei der Beurteilung der Frage, ob das Gutachten des Dr. med. C._ vom 18. März 2019 den Anforderungen an eine beweistaugliche Expertise genüge auch berücksichtigen, dass es sich bei dieser ausdrücklich um ein Verlaufsgutachten handelt. Der Gutachtensauftrag bezog sich also auf die Frage, ob sich die gesundheitlichen Verhältnisse seit der vorhergehenden Untersuchung im Jahre 2014 wesentlich verändert, konkret verschlechtert hätten. Da der Experte keine psychopathologischen Befunde erheben konnte und damit seit der letzten rechtskräftigen Abweisung eines Rentenanspruchs keine Verschlechterung festgestellt werden konnte, erübrigte sich auch, die Grundlagen für eine Indikatorenprüfung im Sinne von <ref-ruling> zu ermitteln. Soweit kein Revisionsgrund vorliegt ist auch kein strukturiertes Beweisverfahren durchzuführen (Urteile 8C_295/2021 vom 9. August 2021 E. 7, 8C_719/2020 vom 7. April 2021 E. 7.2.2, 8C_539/2020 vom 3. November 2020 E. 6.2.3). Das Fehlen einer Indikatorenprüfung führt daher entgegen der Argumentation in der Beschwerde nicht zu einer willkürlichen Beweiswürdigung.
5.2.
5.2.1. Weiter bringt der Beschwerdeführer vor, bei der Begutachtung durch die Dres. med. D._ und C._ habe es sich nicht um ein eigentliches Verlaufsgutachten gehandelt, da seit der Erstbegutachtung im Jahre 2014 mehr als drei Jahre vergangen seien. Der Begutachtungsauftrag hätte seines Erachtens nach dem Zufallsverfahen gemäss <ref-law> vergeben werden müssen. Er beruft sich dabei auf <ref-ruling>.
5.2.2. <ref-law> besagt, dass medizinische Gutachten, an denen drei und mehr Fachdisziplinen beteiligt sind, bei einer Gutachterstelle zu erfolgen haben, mit welcher das Bundesamt eine Vereinbarung getroffen hat (Abs. 1) und die Vergabe der Aufträge nach dem Zufallsprinzip erfolgt (Abs. 2). Mit <ref-ruling> hat das Bundesgericht präzisiert, dass eine Gutachterstelle im Rahmen eines laufenden Abklärungsverfahrens ohne Zuhilfenahme des Zufallsprinzips mit dem polydisziplinären Verlaufsgutachten beauftragt werden darf, wenn die von ihr erstattete Erstexpertise auf einer zufallsbasierten Auftragserteilung beruht hatte (E. 7.4.5). Da der Beschwerdeführer weder bei der Prüfung seines Rentenanspruchs im Jahre 2014, noch im Anschluss an die Neuanmeldung vom April 2018 polydisziplinär, das heisst bezüglich mindestens drei Fachrichtungen, begutachtet wurde, ist weder <ref-law> noch die darauf beruhende Rechtsprechung anwendbar. Die Beschwerdegegnerin durfte damit den Auftrag für ein Verlaufsgutachten den bereits mit dem Fall vertrauten Experten erteilen.
5.3. Schliesslich rügt der Beschwerdeführer die vorinstanzliche Beweiswürdigung. Die Berichte der behandelnden Psychiaterin Dr. med. E._, vom 27. August 2018 und vom 25. Juni 2019 seien unzureichend berücksichtigt worden. Dasselbe treffe auf die Parteiaussagen anlässlich der Hauptverhandlung zu.
5.3.1. Dem kann nicht gefolgt werden. Das kantonale Gericht setzte sich eingehend mit der bereits vorinstanzlich erhobenen Kritik auseinander und stellte fest, den Berichten der Dr. med. E._ seien weder neue Befunde noch neue Diagnosen zu entnehmen. Sie beschreibe im Ergebnis keine Verschlechterung der Situation, sondern bekräftige weitgehend das bereits früher Gesagte. Auch in der Beschwerde wird nicht aufgezeigt, inwiefern diese Feststellung aktenwidrig sein soll. Damit können auch die Zeugnisse der behandelnden Ärztin keinen Zweifel an den gutachterlichen Ausführungen des Dr. med. C._ begründen.
5.3.2. Die weiteren Einwände des Beschwerdeführers vermögen am vorinstanzlichen Ergebnis nichts zu ändern. Vielmehr handelt es sich bei seinen Vorbringen im Wesentlichen um eine unzulässige appellatorische Kritik, mit der er seine eigene Sicht der Dinge darstellt, ohne sich mit den eingehenden Erwägungen der Vorinstanz substanziiert auseinanderzusetzen (vgl. <ref-ruling> E. 1.3.1). Insgesamt zeigt der Beschwerdeführer nicht auf und es ist auch nicht ersichtlich, inwiefern die vorinstanzliche Verneinung einer wesentlichen Veränderung der massgeblichen medizinischen Verhältnisse offensichtlich unrichtig oder anderweitig bundesrechtswidrig sein soll. Zusammenfassend hält das angefochtene Urteil ohne Weiteres vor Bundesrecht stand, weshalb die Beschwerde abzuweisen ist.
6.
Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 10. September 2021
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Maillard
Die Gerichtsschreiberin: Schüpfer