Sachverhalt:
A.
A.a. Der 1970 geborene A._ meldete sich im November 2012 erstmals bei der Invalidenversicherung (IV) zum Leistungsbezug an unter Hinweis auf fehlende Kraft im Arm, wobei er als Ursache einen am 9. Oktober 2009 erlittenen Unfall (Sturz auf der Kellertreppe) bzw. einen Rückfall (Meldung vom 4. Juli 2012) nannte. Die IV-Stelle Basel-Stadt zog die Akten des Unfallversicherers bei, holte weitere medizinische Akten ein und gab bei Dr. med. B._, FMH Rheumatologie, sowie Dr. med. C._, FMH Psychiatrie und Psychotherapie, ein bidisziplinäres rheumatologisch-psychiatrisches Gutachten in Auftrag, welches am 6./21. April 2017 erstattet wurde. Mit Verfügung vom 12. April 2018 sprach sie A._ eine auf die Zeit vom 1. Juli 2013 bis 31. August 2014 befristete ganze Invalidenrente zu.
A.b. In einer Neuanmeldung vom November 2018 machte A._ eine Verschlechterung des Gesundheitszustandes geltend. Sein Arm sei nicht beweglich und müsse nach zu langer oder fester Bewegung aufgrund von Schmerzen ruhiggestellt werden. Weiter seien beidseitige Ellbogenschmerzen dazugekommen. Es wurden radiologische und orthopädische Berichte der behandelnden Ärzte zu den Akten gegeben.
Vorbescheidweise stellte die IV-Stelle am 5. Februar 2019 in Aussicht, auf das neue Leistungsbegehren nicht einzutreten, weil keine wesentliche Änderung der beruflichen oder medizinischen Situation festgestellt werden könne. A._ erhob Einwand und machte zusätzlich zu den in der Neuanmeldung erwähnten Einschränkungen auch psychische Probleme geltend. Er reichte die Berichte des Dr. med. D._, Facharzt Chirurgie und Unfallchirurgie FMH, vom 21. Dezember 2018 sowie des Dr. med. E._, FMH Allgemeine Innere Medizin, und der M. Sc. F._, delegierte Psychologin, vom 15. April 2019 ein. Nachdem der Regionale Ärztliche Dienst (RAD) eine Verschlechterung des Gesundheitszustandes als glaubhaft erachtet hatte (Einschätzung vom 4. Juli 2019), trat die IV-Stelle auf die Neuanmeldung ein. Sie zog weitere Berichte der behandelnden Ärzte bei und nahm Rücksprache mit dem RAD (Stellungnahme vom 17. Januar 2020).
In einem neuen Vorbescheid vom 25. März 2020 kündigte die IV-Stelle die Ablehnung des Leistungsbegehrens an. A._ erhob Einwand unter Beilage eines weiteren Berichts des Dr. med. E._ und der M. Sc. F._ vom 16. Juni 2020. Nach erneuter Einholung einer Stellungnahme des RAD (erstattet am 14. September 2020) verfügte die IV-Stelle am 23. September 2020 wie vorbeschieden.
B.
Beschwerdeweise liess A._ beantragen, die Verfügung vom 23. September 2020 sei aufzuheben und es sei ihm ab 1. Mai 2019 mindestens eine halbe Invalidenrente zuzusprechen. Eventualiter sei die Sache zur weiteren Abklärung an die IV-Stelle zurückzuweisen. Mit Urteil vom 14. April 2021 wies das Sozialversicherungsgericht des Kantons Basel-Stadt die Beschwerde ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das im kantonalen Verfahren gestellte Rechtsbegehren erneuern. Zusätzlich beantragt er eventualiter die Rückweisung zur allfälligen Durchführung von Eingliederungsmassnahmen.

Erwägungen:
1.
1.1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (<ref-law>) kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>).
1.2. Die gerichtlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit bzw. zu deren Veränderung in einem bestimmten Zeitraum sowie die konkrete Beweiswürdigung betreffen Tatfragen und sind damit für das Bundesgericht grundsätzlich verbindlich (<ref-ruling> E. 3.2; Urteil 8C_542/2019 vom 4. Dezember 2019 E. 1.2 mit Hinweis).
1.3. Eine Sachverhaltsfeststellung ist nicht schon dann offensichtlich unrichtig, wenn sich Zweifel anmelden, sondern erst, wenn sie eindeutig und augenfällig unzutreffend ist. Es liegt noch keine offensichtliche Unrichtigkeit vor, nur weil eine andere Lösung ebenfalls in Betracht fällt, selbst wenn diese als die plausiblere erscheint. Diese Grundsätze gelten auch in Bezug auf die konkrete Beweiswürdigung; in diese greift das Bundesgericht auf Beschwerde hin nur bei Willkür ein, insbesondere wenn die Vorinstanz offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche grundlos ausser Acht lässt. Solche Mängel sind in der Beschwerde aufgrund des strengen Rügeprinzips (<ref-law>) klar und detailliert aufzuzeigen (vgl. zum Ganzen <ref-ruling> E. 4.2).
2.
Auf den vor Bundesgericht neu gestellten Eventualantrag, die Sache sei zur Durchführung beruflicher Eingliederungsmassnahmen an die Beschwerdegegnerin zurückzuweisen, ist mangels sachbezüglicher Begründung (<ref-law>) nicht einzutreten, soweit das Rechtsbegehren nicht ohnehin unzulässig ist (<ref-law>).
3.
Streitig und zu prüfen ist, ob die Vorinstanz Bundesrecht verletzte, indem sie die von der Beschwerdegegnerin auf Neuanmeldung hin verfügte Ablehnung eines Rentenanspruchs bestätigte.
4.
Im angefochtenen Urteil werden die bei der Neuanmeldung analog anwendbaren Revisionsregeln (<ref-law>; <ref-ruling> E. 2.3; <ref-ruling> E. 3) sowie die Grundsätze zum Beweiswert von Arztberichten (<ref-ruling> E. 5.1; <ref-ruling> E. 3a), insbesondere auch von reinen Aktenbeurteilungen durch den RAD (vgl. dazu auch Urteil 9C_661/2019 vom 26. Mai 2020 E. 4.1 mit Hinweisen) zutreffend dargelegt. Darauf wird verwiesen.
5.
5.1. Das kantonale Gericht stellte in Würdigung der medizinischen Unterlagen, insbesondere der Berichte der behandelnden Ärzte sowie der Aktenbeurteilungen durch den RAD, für das Bundesgericht grundsätzlich verbindlich fest (vgl. E. 1.2), dass sich der Gesundheitszustand des Versicherten seit dem Referenzzeitpunkt (12. April 2018) weder in somatischer noch in psychischer Hinsicht wesentlich verändert hat. Damit bleibe es beim damals für die Zeit ab 1. September 2014 ermittelten Invaliditätsgrad von 15 %, welcher keinen Rentenanspruch verleihe.
5.2. Der Beschwerdeführer rügt, die Vorinstanz habe den Sachverhalt offensichtlich unrichtig festgestellt und den Untersuchungsgrundsatz sowie die bundesrechtlichen Vorgaben an den Beweiswert versicherungsinterner ärztlicher Berichte verletzt, indem sie den RAD-Stellungnahmen volle Beweiskraft zuerkannt und ergänzende Abklärungen für entbehrlich betrachtet habe.
6.
6.1. Was den somatischen Gesundheitszustand betrifft, erwog die Vorinstanz, der Beschwerdeführer sei aufgrund rechtsseitiger Schulterbeschwerden weiterhin eingeschränkt, dies im selben Umfang wie zum Zeitpunkt der rheumatologischen Begutachtung durch Dr. med. B._ (Gutachten vom 6. April 2017). Es sei aufgrund der am 27. Juni 2018 durch Dr. med. G._, Leitender Arzt am Institut für Radiologie, Spital H._, durchgeführten Arthographie der rechten Schulter erstellt, dass keine muskuläre Atrophie mehr vorliege (Bericht vom 27. Juni 2018), was nach der RAD-Beurteilung vom 18. Januar 2019 ein gewichtiger Hinweis darauf sei, dass der Beschwerdeführer seinen rechten Arm und damit auch sein rechtes Schultergelenk im Alltag sehr wohl einsetze. Weiter sei entsprechend der RAD-Stellungnahme vom 17. Januar 2020 festzuhalten, dass die (von Dr. med. D._) gestellten Diagnosen eines Karpaltunnelsyndroms und einer Epicondylitis humeri radialis (Tennisarm) regelmässig keine (länger andauernde) Einschränkung der Arbeitsfähigkeit nach sich ziehen und auch aus den Berichten der den Beschwerdeführer behandelnden Ärzte nichts anderes hervorgehe. Auch hinsichtlich der Lendenwirbelsäule habe sich seit der Begutachtung durch Dr. med. B._ am 20. März 2017 (welche ergeben hatte, dass die entsprechenden Beschwerden die Arbeitsfähigkeit nicht beeinträchtigen) nichts Wesentliches verändert; es lägen weiterhin lediglich Hernierungen ohne radikuläre Symptomatik vor.
6.2. Der Versicherte hält eine Verschlimmerung der Schulterbeschwerden ab Juni 2018 für aktenmässig erstellt und verweist dazu auf die Einschätzungen des Spitals I._ vom 19. September, 5. Oktober und 12. Dezember 2018 sowie des Dr. med. D._ vom 27. März 2019. Indessen zeigen die von ihm angerufenen Berichte lediglich auf, dass die zweimalige operative Versorgung zu keinem erfreulichen Ergebnis führte (deutlich persistierende Bewegungseinschränkung des rechten Schultergelenks und deutliche Kraftminderung) und dass auch die am Spital I._ erfolgten Infiltrationen des Nervus suprascapularis keinen therapeutischen Erfolg brachten. Es ist nicht offensichtlich unrichtig, dass die Vorinstanz diese Ausführungen der Ärzte in Übereinstimmung mit dem RAD als gegenüber dem Referenzzeitpunkt unveränderte Verhältnisse würdigte, zeigen sie doch nicht etwa eine richtunggebende Verschlimmerung aufgrund neu erhobener Befunde auf, sondern lediglich das Scheitern therapeutischer Versuche zur Linderung der fortbestehenden (bereits im Rahmen der Verfügung vom 12. April 2018 berücksichtigten) Schulterschmerzen.
6.3. Nichts zu Gunsten des Beschwerdeführers ergibt sich sodann aus dem Umstand, dass ihm im Bericht des Spitals I._ vom 12. Dezember 2018 eine vollständige Arbeitsunfähigkeit für weitere drei Monate bescheinigt wurde. Diese bezieht sich (wie auch die von Dr. med. D._ in seinem Bericht vom 21. Dezember 2018 attestierte) ausdrücklich auf die angestammte Tätigkeit als Gipser und bestand bereits im Vergleichszeitpunkt (d.h. am 12. April 2018). Abgesehen davon vermöchte eine unterschiedliche Beurteilung der zumutbaren Arbeitsfähigkeit bei unveränderter Befundlage noch keine Verschlechterung der medizinischen Verhältnisse zu belegen (vgl. SVR 2012 IV Nr. 18 S. 81, 9C_418/2010 E. 4.2; Urteile 9C_135/2021 vom 27. April 2021 E. 2).
6.4. Nicht offensichtlich unrichtig ist schliesslich auch, dass die Vorinstanz hinsichtlich der Lendenwirbelsäule (MRT vom 8. Juni 2018) ebenfalls von einem im Vergleich zur Untersuchung durch Dr. med. B._ am 20. März 2017 unveränderten Zustand ausging, denn bereits damals waren diskrete, die Arbeitsfähigkeit nicht beeinträchtigende degenerative Veränderungen der Lendenwirbelsäule (ohne radikuläre Symptomatik) festgehalten worden. Inwiefern das kantonale Gericht mit dieser Würdigung der medizinischen Akten seine Kompetenzen überschritten haben soll, ist nicht ersichtlich.
7.
7.1. Betreffend die psychischen Verhältnisse erwog die Vorinstanz, die behandelnden Ärzte hätten beim Beschwerdeführer eine rezidivierende depressive Störung mit gegenwärtig mittelgradiger Ausprägung nicht eindeutig diagnostiziert und auch der Verlaufsbericht vom 17. September 2019 erwähne lediglich eine Verdachtsdiagnose. Soweit sich dies in der Stellungnahme des Dr. med. E._ und der M. Sc. F._ vom 16. Juni 2020 anders verhalte, würden keine objektiven Befunde präsentiert, so dass die Diagnose nicht nachvollziehbar bzw. nicht gesichert sei. Mit RAD-Arzt Dr. med. J._ (Aktennotiz vom 17. Dezember 2019) sei die Unmöglichkeit, eine depressive Störung verbindlich festzustellen, als Hinweis auf eine nicht übermässige Ausprägung der Symptome zu betrachten. Auf einen nur gering ausgeprägten Leidensdruck lasse auch schliessen, dass der Beschwerdeführer weiterhin nur selten und unregelmässig seine Psychologin konsultiere und keine psychopharmakologische Behandlung in Anspruch nehme. Die Einschätzung des RAD werde auch durch den Bericht der Dres. med. E._ und K._ sowie der M. Sc. F._ vom 17. September 2019 gestützt, da dieser für die Einschätzung der Arbeitsunfähigkeit auf den Bericht vom 19. Mai 2016 verweise, welcher bereits bei der Begutachtung durch Dr. med. C._ aktenkundig gewesen sei und Grundlage der Verfügung vom 12. April 2018 gebildet habe. Der RAD habe in seiner Stellungnahme vom 17. Januar 2020 überzeugend dargelegt, dass (auch) aus psychiatrischer Sicht kein Anlass für weitere medizinische Abklärungen bestehe; es lägen unveränderte psychische Verhältnisse vor.
7.2. Der Beschwerdeführer kritisiert zu Unrecht, im angefochtenen Urteil werde aktenwidrig festgehalten, dass er nur selten und unregelmässig seine Psychologin konsultiere. Denn das kantonale Gericht konnte sich für die entsprechende Feststellung auf den Bericht der Dres. med. E._, K._ und der M. Sc. F._ vom 17. September 2019 stützen, wonach die Behandlung "nach Bedarf des Patienten" erfolgt, was den Schluss auf eine engmaschige Therapie (und ein erhebliches psychisches Leiden) jedenfalls nicht zulässt. Im Übrigen wurde bereits im Bericht vom 15. April 2019 erwähnt, dass eine eindeutige psychiatrische Diagnose nicht gestellt werden könne, weil der Beschwerdeführer die Psychologin nur viermal aufgesucht habe.
7.3. Unbehelflich ist sodann auch das Vorbringen, das kantonale Gericht habe willkürlich die fehlende Inanspruchnahme psychopharmakologischer Behandlung festgestellt, werde doch eine entsprechende Therapie in keinem Bericht verneint. Auf die Frage nach Art und Umfang der gegenwärtigen Behandlung gaben die Dres. med. E._ und K._ sowie die Psychologin M. Sc. F._ in ihrem Bericht vom 17. September 2019 lediglich Psychotherapie an. Abgesehen davon, dass sie die Verschreibung von Psychopharmaka an dieser Stelle erwähnt hätten, wenn sie erfolgt wäre, scheint es nachvollziehbar, dass eine entsprechende Therapie angesichts der Unsicherheiten betreffend die Diagnose nicht stattfand. Damit übereinstimmend ist auch im Kurzbericht vom 16. Juni 2020 nur von psychotherapeutischer und nicht auch von psychopharmakologischer Behandlung die Rede. Soweit der Beschwerdeführer nun im letztinstanzlichen Verfahren vorbringt, "seit der gesicherten Diagnose im Jahr 2020" Cymbalta Kaps 30 mg und Quentiapin Mepha Lactabs 25 mg einzunehmen, handelt es sich um eine unzulässige neue Tatsachenbehauptung (<ref-law>), auf welche nicht weiter einzugehen ist.
7.4. Nicht zu beanstanden ist, dass die Vorinstanz auch aufgrund des im Einwandverfahren beigebrachten Kurzberichtes vom 16. Juni 2020 keinen Anlass für weitere Abklärungen sah. Die darin neu aufgestellte Behauptung, die gesicherte Diagnose einer depressiven Störung habe bereits im Bericht vom 17. September 2019 gestellt werden können, ist unzutreffend, wurde doch damals lediglich eine entsprechende Verdachtsdiagnose aufgeführt. Hinzu kommt, dass sich die Verdachtsdiagnose allein auf die vom Beschwerdeführer subjektiv angegebenen Beeinträchtigungen stützte (wie Schlafstörungen, starke Tagesmüdigkeit, Einschränkung der Konzentration und Aufmerksamkeit etc.). Objektive Befunde, die Anlass zu weiteren Abklärungen geben könnten, wurden weder im Bericht vom 17. September 2019 noch in jenem vom 16. Juni 2020 erhoben.
7.5. Nicht offensichtlich unhaltbar ist schliesslich, dass die Vorinstanz auch deshalb auf unveränderte psychische Verhältnisse schloss, weil die Ärzte im Bericht vom 17. September 2019 keine neue Beurteilung der Arbeitsfähigkeit vornahmen, sondern hierfür auf ihren Bericht vom 19. Mai 2016 verwiesen. Diese Bezugnahme durfte sie willkürfrei dahingehend verstehen, dass die damals attestierte Arbeitsunfähigkeit weiterhin Geltung beanspruchte.
8.
Bei dieser Sachlage ist es weder offensichtlich unrichtig noch sonstwie bundesrechtswidrig, dass die Vorinstanz erkannte, der medizinische Sachverhalt sei sowohl in somatischer als auch in psychischer Hinsicht genügend erstellt. Dass sie sich dabei auch auf die Aktenbeurteilungen des RAD stützte, welcher sich anhand der vorhandenen Berichte ein lückenloses Bild machen konnte, verletzt kein Bundesrecht. Ihr Verzicht auf weitere Abklärungen erfolgte in zulässiger antizipierter Beweiswürdigung (<ref-ruling> E. 5.3).
9.
Die Gerichtskosten werden dem unterliegenden Beschwerdeführer auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.
Die Gerichtskosten von Fr. 800.- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 12. November 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Keel Baumann