Sachverhalt:
A.
A.a. Die 1988 geborene A._ meldete sich im Mai 2015 erstmals bei der Invalidenversicherung zum Leistungsbezug an unter Hinweis auf psychische Beschwerden und einen Bandscheibenvorfall. Mit unangefochten in Rechtskraft erwachsener Verfügung vom 22. September 2015 verneinte die IV-Stelle Solothurn einen Leistungsanspruch.
A.b. In einem neuen Gesuch vom März 2016 machte A._ als gesundheitliche Beeinträchtigungen eine Rückenversteifung, psychische Probleme und Asthma geltend. Die Verwaltung prüfte die medizinischen Verhältnisse und ordnete nach Rücksprache mit ihrem Regionalen Ärztlichen Dienst (RAD) eine bidisziplinäre Begutachtung an. Das psychiatrische Gutachten wurde von Dr. med. B._, Facharzt FMH für Psychiatrie und Psychotherapie, am 28. August 2017 erstattet. Nachdem die Versicherte zur rheumatologischen Begutachtung bei Dr. med. C._, Innere Medizin und Rheumatologie FMH, nicht erschienen und auch ein weiterer, bei einer anderen Gutachterin, Dr. med. D._, Innere Medizin und Rheumatologie FMH, vorgesehener Termin nicht zustande gekommen war, verzichtete die IV-Stelle auf weitere Abklärungen in diesem Fachgebiet. In einer Stellungnahme vom 20. September 2017 äusserte sich RAD-Arzt Dr. med. E._, Facharzt für Allgemeine Medizin, zum psychiatrischen Gutachten und zur medizinischen Situation aus rheumatologischer Sicht. Mit Vorbescheid vom 2. Oktober 2017 stellte die Verwaltung die Verneinung eines Leistungsanspruchs (berufliche Massnahmen, Invalidenrente) in Aussicht. Auf den von A._ dagegen erhobenen Einwand hin holte die IV-Stelle weitere medizinische Berichte ein. Nach Rücksprache mit dem RAD verfügte sie am 26. März 2018 wie vorbeschieden.
A.c. Im März 2020 meldete sich A._ ein weiteres Mal bei der Invalidenversicherung zum Leistungsbezug an, wobei sie eine Verschlechterung der gesundheitlichen Verhältnisse geltend machte. Vorbescheidweise kündigte die IV-Stelle an, mangels Glaubhaftmachung einer wesentlichen Veränderung der beruflichen oder medizinischen Situation nicht auf das Begehren einzutreten. Daraufhin übermittelte die Versicherte der IV-Stelle als weitere Unterlagen den Kurzbericht des Dr. med. F._, Facharzt FMH für Psychiatrie und Psychotherapie, und des eidg. anerkannten Psychotherapeuten G._ vom 18. April 2020 sowie den Bericht des Dr. med. H._, Oberarzt Wirbelsäulenchirurgie und Orthopädie am Spital I._, vom 5. März 2018. Nach Beizug einer Stellungnahme der RAD-Ärztin Dr. med. J._, Fachärztin für Arbeitsmedizin (erstattet am 22. Mai 2020), trat die IV-Stelle auf die Neuanmeldung nicht ein (Verfügung vom 26. Mai 2020).
B.
Die von A._ dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Solothurn mit Urteil vom 26. Januar 2021 ab.
C.
A._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen und das Rechtsbegehren stellen, das kantonale Urteil sei aufzuheben. Die IV-Stelle sei anzuweisen, auf das Leistungsgesuch einzutreten und es betreffend den Anspruch auf berufliche Massnahmen und eine Invalidenrente materiell zu prüfen.
Die IV-Stelle und das BSV verzichten auf eine Vernehmlassung.

Erwägungen:
1.
Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann eine Rechtsverletzung nach Art. 95 f. BGG gerügt werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Dennoch prüft es - offensichtliche Fehler vorbehalten - nur die in seinem Verfahren gerügten Rechtsmängel (Art. 42 Abs. 1 und 2 BGG). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann ihre Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 und <ref-law>; zum Ganzen <ref-ruling> E. 4).
2.
2.1. Die Neuanmeldung wird - wie auch das Gesuch um Leistungsrevision - nur materiell geprüft, wenn die versicherte Person glaubhaft macht, dass sich die tatsächlichen Verhältnisse seit der letzten rechtskräftigen Entscheidung in einem für den Rentenanspruch erheblichen Mass verändert haben (Art. 87 Abs. 3 in Verbindung mit Abs. 2 IVV; <ref-ruling> E. 2.2 mit Hinweisen). Gelingt ihr dies nicht, so wird auf das Gesuch nicht eingetreten. Ist die anspruchserhebliche Änderung glaubhaft gemacht, so ist die Verwaltung verpflichtet, auf das neue Leistungsbegehren einzutreten und es in tatsächlicher und rechtlicher Hinsicht umfassend zu prüfen (SVR 2014 IV Nr. 33 S. 121, 8C_746/2013 E. 2); sie hat demnach in analoger Weise wie bei einem Revisionsfall nach <ref-law> vorzugehen (vgl. dazu <ref-ruling>; Urteil 9C_48/2021 vom 12. Mai 2021 E. 3.2).
2.2. Ob eine anspruchserhebliche Änderung nach Art. 87 Abs. 3 in Verbindung mit Abs. 2 IVV glaubhaft gemacht ist, stellt eine vom Bundesgericht nur unter dem Blickwinkel von <ref-law> überprüfbare Tatfrage dar (E. 1 hiervor). Um eine Frage rechtlicher Natur handelt es sich hingegen, wenn zu beurteilen ist, wie hohe Anforderungen an das Glaubhaftmachen im Sinne von <ref-law> zu stellen sind (Urteil 8C_367/2020 vom 4. August 2020 E. 2.2 mit Hinweis).
3.
Streitig und zu prüfen ist, ob die Vorinstanz bundesrechtskonform entschieden hat, die IV-Stelle sei nach der Verneinung eines Rentenanspruchs mit Verfügung vom 26. März 2018 zu Recht nicht auf die im März 2020 erfolgte Neuanmeldung eingetreten (Verfügung vom 26. Mai 2020).
4.
Das kantonale Gericht gelangte zum Ergebnis, mit den von der Beschwerdeführerin eingereichten Berichten sei eine Verschlechterung des Gesundheitszustandes im massgebenden Vergleichszeitraum (d.h. in der Zeit zwischen dem 26. März 2018 und dem 26. Mai 2020) weder aus psychischer noch aus rheumatologischer Sicht glaubhaft gemacht.
Der Bericht vom 18. April 2020, in welchem psychiatrische Diagnosen aufgelistet, aber nicht nachvollziehbar hergeleitet würden, gebe keine Anhaltspunkte für eine relevante Verschlechterung des psychischen Gesundheitszustandes. Ohnehin aber würde allein eine neu gestellte Diagnose nicht genügen, weil damit über das quantitative Element einer relevanten, die Arbeitsfähigkeit beeinträchtigenden Veränderung des Gesundheitszustandes nicht zwingend etwas ausgesagt werde. Eine erhebliche Verschlechterung ergebe sich auch nicht bei einem Vergleich mit dem psychiatrischen Gutachten des Dr. med. B._ vom 28. August 2017. Wie auch der Stellungnahme des RAD vom 22. Mai 2020 zu entnehmen sei, enthalte der Bericht vom 18. April 2020 lediglich verschiedene bereits vorbekannte psychiatrische Diagnosen (so eine einfache Aktivitäts- und Aufmerksamkeitsstörung, die Züge einer Borderlinepersönlichkeit [vordiagnostiziert seien akzentuierte Persönlichkeitszüge], die Agoraphobie, eine rezidivierende depressive Störung [gegenwärtig leichte Episode] und das Cannabisabhängigkeitssyndrom).
Zu den somatischen Verhältnissen äussere sich Dr. med. H._ in seinem (im Zeitpunkt der Neuanmeldung bereits fast zwei Jahre alten) Bericht vom 5. März 2018, allerdings ohne eine Einschätzung der Auswirkungen der erhobenen Befunde auf die Arbeitsfähigkeit abzugeben. Nach seiner zusammenfassenden Beurteilung (unter Einbezug der am 14. Februar 2018 durchgeführten bildgebenden Verfahren [REOSGWS und MRI der Lendenwirbelsäule]) bestehe klinisch kein neurologisches Defizit (eine örtliche Schmerzhaftigkeit lasse keine klaren Schlüsse auf die Schmerzursache zu) und zeigten sich radiologisch um beide Cages Lockerungssäume, wobei in den Bildern darüber hinaus keine relevante Pathologie zu erkennen sei. Damit bestehe im Vergleich mit den der Verfügung vom 26. März 2018 zugrunde liegenden Unterlagen keine erhebliche Veränderung der Rückenproblematik. Zudem ergebe sich aus den Akten nicht, dass die Versicherte sich den von Dr. med. H._ vorgeschlagenen weiteren Untersuchungen unterzogen (CT bzw. Szintigraphie) oder seine Empfehlungen umgesetzt hätte (Überweisung an ein Schmerzzentrum zwecks Schulung des Umgangs mit den Schmerzen und Optimierung der medikamentösen Therapie inkl. Cannabiskonsum). Bei dieser Sachlage sei eine relevante Veränderung auch in somatischer Sicht nicht glaubhaft gemacht.
5.
5.1. Die Beschwerdeführerin lässt vorbringen, die Leistungsablehnung gemäss Verfügung vom 26. März 2018 sei in Anwendung von <ref-law> aufgrund der Akten erfolgt, weil sie damals nicht zur rheumatologischen Begutachtung durch Dr. med. C._ erschienen sei. Die Sanktion (bestehend im Entscheid aufgrund der Akten) könne nur solange andauern, als das obstruktive Verhalten fortbestehe. Ihre Aufgabe der Verweigerung, an medizinischen Untersuchungen mitzuwirken, sei als Neuanmeldung zu behandeln. Bereits aus diesem Grund hätte die IV-Stelle den Leistungsanspruch auf das Gesuch vom März 2020 hin neu abklären und unter anderem ein rheumatologisches Gutachten in Auftrag geben müssen, wozu sie im angefochtenen Entscheid zu verpflichten gewesen wäre.
5.1.1. Es steht ausser Frage, dass das von der Beschwerdeführerin im März 2020 eingereichte Gesuch eine Neuanmeldung darstellt und von der IV-Stelle auch als solche entgegengenommen wurde. Aus diesem Grund ist nicht näher einzugehen auf die in der Beschwerde angeführte Rechtsprechung, wonach die spätere Aufgabe der Verweigerung, im Rahmen einer erstmaligen Abklärung des Leistungsanspruches mitzuwirken, als Neuanmeldung zu betrachten ist (vgl. dazu Urteil 8C_733/2010 vom 10. Dezember 2010 E. 5.6 mit weiteren Hinweisen).
5.1.2. Entgegen der in der Beschwerde vertretenen Auffassung bedeutet die Behandlung des Gesuchs vom März 2020 als Neuanmeldung indessen nicht, dass die Verwaltung darauf zwingend hätte eintreten müssen. Vielmehr wäre die IV-Stelle dazu lediglich dann verpflichtet gewesen, wenn glaubhaft gemacht worden wäre, der Invaliditätsgrad habe sich im massgebenden Vergleichszeitraum in einer für den Anspruch erheblichen Weise verändert (Art. 87 Abs. 3 in Verbindung mit Abs. 2 IVV; vgl. dazu E. 5.2 hiernach). Die davon abweichenden Ausführungen in der Beschwerde betreffen den hier nicht gegebenen Fall, dass die IV-Stelle ein erstes Leistungsgesuch infolge Widersetzlichkeit keiner materiellen Prüfung unterzog und darauf nicht eintrat (vgl. UELI KIESER, ATSG-Kommentar, 4. Aufl. 2020, N. 116 zu <ref-law>; MEYER/REICHMUTH, Rechtsprechung des Bundesgerichts zum Sozialversicherungsrecht, Bundesgesetz über die Invalidenversicherung [IVG], 3. Aufl. 2014, Rz. 126 zu Art. 30-31 IVG). Weiterungen dazu erübrigen sich.
5.2. Nicht gefolgt werden kann der Beschwerdeführerin auch insoweit, als sie dafürhält, das kantonale Gericht habe zu hohe Hürden für die Glaubhaftmachung im Sinne von <ref-law> aufgestellt. Vorab ist festzuhalten, dass zwischen der letzten materiellen Prüfung des Leistungsanspruchs (Verfügung vom 26. März 2018) und der Neuanmeldung vom März 2020 fast zwei Jahre vergangen sind, weshalb für die Glaubhaftmachung keine allzu hohen Anforderungen gelten (vgl. <ref-ruling> E. 6.2; Urteil 9C_57/2021 vom 8. Juli 2021 E. 4.2 mit Hinweisen; MEYER/REICHMUTH, a.a.O., Rz. 119 zu Art. 30-31 IVG). Indem die Vorinstanz Anhaltspunkte für die vorgebrachte Verschlechterung hätte genügen lassen (vgl. dazu SVR 2016 IV Nr. 57 S. 188, 9C_367/2016 E. 2.2 mit Hinweisen), hat sie kein zu hohes Beweismass angesetzt und kein Bundesrecht verletzt. Ebenso wenig ist es offensichtlich unrichtig oder sonst wie bundesrechtswidrig, dass das kantonale Gericht einen veränderten Gesundheitszustand als nicht glaubhaft dargelegt erachtete, fehlte es doch an der dafür erforderlichen veränderten Befundlage (vgl. dazu SVR 2012 IV Nr. 18 S. 81, 9C_418/2010 E. 4.1 und 4.2; Urteil 9C_135/2021 vom 27. April 2021 E. 2.1 mit weiteren Hinweisen). Soweit die Beschwerdeführerin damit hinsichtlich der psychischen Verhältnisse nicht einverstanden ist und darauf hinweist, dass die Agoraphobie und die leichte depressive Störung neu als (eigenständige) Diagnosen aufgelistet wurden, ist ihr zu entgegnen, dass eine derartige unterschiedliche diagnostische Einordnung nicht genügt, ändert sie doch nichts daran, dass es keine Anhaltspunkte dafür gibt, dass sich der Gesundheitszustand der Beschwerdeführerin richtungsweisend im Sinne einer Minderung ihrer Leistungsfähigkeit verschlechtert hätte.
5.3. In der Beschwerde wird schliesslich der Standpunkt vertreten, die IV-Stelle wäre auch deshalb zum Eintreten auf die Neuanmeldung verpflichtet gewesen, weil sie als Folge der mit <ref-ruling> eingeführten neuen Sucht-Rechtsprechung unter dem Titel einer Änderung der Rechtslage eine Neubeurteilung der (noch unter der alten Rechtsprechung ergangenen) Verfügung vom 26. März 2018 hätte vornehmen müssen.
Dieser Auffassung kann nicht gefolgt werden. Wie das Bundesgericht unlängst entschieden hat, bildet die Rechtsprechung gemäss <ref-ruling> keinen hinreichenden Anlass, um vom Grundsatz der Nichtanpassung eines formell rechtskräftigen Verwaltungsentscheides an eine geänderte Rechtspraxis abzuweichen und auf eine unter dem Geltungsbereich der neuen Rechtsprechung erfolgte Neuanmeldung einzutreten (zur Publikation bestimmtes Urteil 9C_132/2020 vom 7. Juni 2021 E. 5 f.; Urteil 9C_629/2020 vom 6. Juli 2021 E. 5.2).
5.4. Zusammenfassend ergibt sich, dass der vorinstanzliche Entscheid, wonach die IV-Stelle zu Recht nicht auf die Neuanmeldung eintrat, bundesrechtskonform ist.
6.
Ausgangsgemäss wird die Beschwerdeführerin grundsätzlich kostenpflichtig (<ref-law>). Ihrem Gesuch um unentgeltliche Rechtspflege (im Sinne der Befreiung von den Gerichtskosten und der unentgeltlichen Verbeiständung) kann entsprochen werden, da die Bedürftigkeit ausgewiesen ist, die Beschwerde nicht als aussichtslos zu bezeichnen und die Vertretung durch einen Rechtsanwalt geboten war (Art. 64 Abs. 1 und 2 BGG). Es wird indessen ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Bundesgerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu im Stande ist.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Der Beschwerdeführerin wird die unentgeltliche Rechtspflege gewährt und Rechtsanwalt Claude Wyssmann wird als unentgeltlicher Anwalt bestellt.
3.
Die Gerichtskosten von Fr. 800.- werden der Beschwerdeführerin auferlegt, indes vorläufig auf die Bundesgerichtskasse genommen.
4.
Dem Rechtsvertreter der Beschwerdeführerin wird aus der Bundesgerichtskasse eine Entschädigung von Fr. 2800.- ausgerichtet.
5.
Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 25. August 2021
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Parrino
Die Gerichtsschreiberin: Keel Baumann