Sachverhalt:
A.
Die Regionale Staatsanwaltschaft Berner Jura-Seeland (nachfolgend: Staatsanwaltschaft) führt ein Strafverfahren gegen A._ wegen Vergewaltigung, sexueller Nötigung und Hausfriedensbruchs. Mit Verfügung vom 7. Mai 2021 beauftragte sie einen medizinischen Sachverständigen mit der psychiatrischen Begutachtung des Beschuldigten.
B.
Am 20. Mai 2021 erhob der Beschuldigte gegen den Gutachtensauftrag der Staatsanwaltschaft Beschwerde. Mit Beschluss vom 18. Juni 2021 hiess das Obergericht des Kantons Bern das Rechtsmittel in dem Sinne teilweise gut, als es eine Verletzung des rechtlichen Gehörs des Beschuldigten feststellte. Die Verfahrenskosten von Fr. 1'200.-- auferlegte es im Umfang von Fr. 720.-- dem Beschuldigten und im Übrigen dem Kanton Bern. Es ordnete ferner an, die amtliche Entschädigung für das Beschwerdeverfahren werde am Ende des Verfahrens festgesetzt, wobei im Umfang von zwei Fünfteln keine Rück- und Nachzahlungspflicht bestehe.
C.
Gegen den Beschluss des Obergerichts vom 18. Juni 2021 gelangte der Beschuldigte mit Beschwerde in Strafsachen vom 21. Juli 2021 an das Bundesgericht. Er beantragt, der angefochtene Beschluss sei aufzuheben, soweit damit das beim Obergericht erhobene Rechtsmittel kostenpflichtig abgewiesen worden sei. Ferner ersucht er um Aufhebung des Auftrages der Staatsanwaltschaft vom 7. Mai 2021. Sodann beantragt er, die Kosten des vorinstanzlichen Verfahrens seien dem Kanton Bern aufzuerlegen und es sei festzustellen, dass ihn für die amtliche Entschädigung im vorinstanzlichen Verfahren keine Rück- und Nachzahlungspflicht treffe. Ausserdem stellt der Beschwerdeführer Eventualanträge.
Die Staatsanwaltschaft und das Obergericht verzichten auf Vernehmlassung.

Erwägungen:
1.
Beim streitigen Gutachtensauftrag handelt es sich um einen strafprozessualen Zwischenentscheid. Nach der Rechtsprechung des Bundesgerichts bildet die psychiatrische Begutachtung mit medizinischer Exploration der betroffenen Person eine Zwangsmassnahme (<ref-law>), welche für die explorierte Person grundsätzlich mit einem nicht wieder gutzumachenden Rechtsnachteil verbunden ist (<ref-law>; vgl. <ref-ruling>, nicht amtlich publizierte E. 1; Urteil 1B_99/2019 vom 25. September 2019 E. 1). Es ist aber fraglich, ob vorliegend von einem solchen Nachteil für den Beschwerdeführer auszugehen ist. Denn er wendet sich nicht gegen die Anordnung der psychiatrischen Begutachtung als solche resp. gegen die damit verbundene Beeinträchtigung in seinen fundamentalen Rechten. Vielmehr beschränkt er sich darauf, geltend zu machen, der Sachverständige sei zu früh bestellt worden und einzelne der an diesen gestellten Fragen seien tendenziös formuliert (vgl. dazu auch Urteil 1B_265/2020 vom 31. August 2020 E. 3.1 mit Hinweis, wonach der Beschuldigte kein rechtlich geschütztes Interesse daran habe, der Untersuchungsleitung vorzuschreiben, wie sie vorzugehen habe).
Es kann hier offen bleiben, ob die Prozessvoraussetzung des nicht wieder gutzumachenden Rechtsnachteils (<ref-law>) erfüllt ist. Ebenso kann dahingestellt bleiben, ob die übrigen Sachurteilsvoraussetzungen von <ref-law> gegeben sind. Denn, wie im Folgenden ersichtlich wird, ist die Beschwerde bei materieller Beurteilung ohnehin abzuweisen.
2.
2.1. Gemäss <ref-law> haben die Strafbehörden die belastenden und entlastenden Umstände mit gleicher Sorgfalt zu untersuchen. Sie setzen zur Wahrheitsfindung alle nach dem Stand von Wissenschaft und Erfahrung geeigneten Beweismittel ein, die rechtlich zulässig sind (<ref-law>). Die Staatsanwaltschaft zieht eine oder mehrere sachverständige Personen bei, wenn sie nicht über die besonderen Kenntnisse und Fähigkeiten verfügt, die zur Feststellung oder Beurteilung eines Sachverhalts erforderlich sind (<ref-law>). Sie ernennt die sachverständige Person (<ref-law>) und erteilt ihr einen schriftlichen Auftrag. Dieser enthält insbesondere die präzis formulierten Fragen (<ref-law>).
2.2. Regelmässig ist bereits im Vorverfahren die Anordnung einer psychiatrischen Begutachtung erforderlich (vgl. BERNARD/STUDER, Psychiatrische Gutachter ohne strafprozessuale Kontrolle?, ZStrR 133/2015, S. 84 mit Hinweis). Eine sachverständige Person ist zu bestellen, sobald die Staatsanwaltschaft aufgrund des Verfahrensstandes die Frage des Bedarfs nach besonderer Sachkunde abschätzen und der sachverständigen Person die Fragen stellen kann, deren Beantwortung für den weiteren Gang des Verfahrens erforderlich ist. Der Gutachtensauftrag ist so früh zu erteilen, dass die Expertise das Verfahren möglichst nicht verzögert. Das ist besonders bedeutsam, wenn die beschuldigte Person in Haft ist (<ref-law>; ANDREAS DONATSCH, in: Zürcher Kommentar StPO, Art. 1-195, 3. Aufl. 2020, N. 6 zu <ref-law>). Eine zügige Anordnung der Begutachtung ermöglicht es auch, allfällige tatrelevante Informationen raschmöglichst in die Tatrekonstruktion sowie in die Anklageschrift einfliessen zu lassen (IVANA BABIC, Das psychiatrische Gutachten im Strafverfahren, 2019, S. 224; vgl. auch MARIANNE HEER, in: Basler Kommentar StPO/JStPO, 2. Aufl. 2014, N. 27 zu <ref-law>). Dabei kann es unter Umständen angezeigt sein, eine Begutachtung parallel zu anderen Ermittlungen vorzunehmen, um Verfahrensverzögerungen zu vermindern. Auf jeden Fall sollte der Sachverhalt aber so weit abgeklärt sein, dass die sachverständige Person nicht gezwungen ist, selbst Sachverhaltshypothesen aufzustellen und mögliche Eventualkonstellationen zu beurteilen (DONATSCH, a.a.O., N. 6 zu <ref-law>; vgl. dazu ferner HEER, a.a.O., N. 27 zu <ref-law>). Andernfalls bestünde ein gefährliches Potential für Fehlinterpretationen (BABIC, a.a.O., S. 224; vgl. auch EUGEN SPIRIG, Zum psychiatrischen Gerichtsgutachten, ZSR NF 1990, S. 422).
Ob und inwieweit der sachverständigen Person bei unklaren tatsächlichen Verhältnissen aufgetragen werden darf, von bestimmten Sachverhaltshypothesen auszugehen, wurde in der bundesgerichtlichen Rechtsprechung noch nicht geklärt. Zu dieser Frage bestehen verschiedene Lehrmeinungen. So wird etwa ausgeführt, es sei zulässig, die sachverständige Person damit zu beauftragen, ihrer Expertise gewisse Sachverhaltsannahmen zugrunde zu legen (in diesem Sinne DONATSCH/ZUBERBÜHLER, Die Nutzung von Expertenwissen im Strafverfahren, in: Festschrift für Franz Riklin, 2007, S. 337 ff., S. 348). Nach einer weiteren Lehrmeinung soll die Begutachtung durch die sachverständige Person nicht stattfinden, solange der Sachverhalt noch nicht feststeht (SPIRIG, a.a.O., S. 422; tendenziell in dieser Richtung auch BERNARD/STUDER, Prekäre Unschuld bei Begutachtungen ohne Tat- oder Schuldinterlokut, in: Feststellung des Sachverhalts im Zusammenhang mit der Begutachtung, 2016, S. 8 f. [unter Berufung auf die Unschuldsvermutung von Art. 6 Abs. 2 EMRK, <ref-law> sowie Art. 10 Abs. 1 und 3 StPO]). Vertreten wird auch die Auffassung, der Gutachtensauftrag solle erst dann erteilt werden, wenn die Beweislage soweit möglich und mindestens vorläufig gesichert erscheine (SCHMID/JOSITSCH, Handbuch des schweizerischen Strafprozessrechts, 2017, N. 934).
Ein psychiatrisches Gutachten ergibt nur unter der Annahme Sinn, dass die beschuldigte Person die Tat begangen hat. Ansonsten wäre das Gutachten gegenstandslos (vgl. auch BERNARD/STUDER, a.a.O., S. 8 mit Hinweis). Es muss daher jedenfalls zulässig sein, der sachverständigen Person aufzutragen, ihrer psychiatrischen Begutachtung die Hypothese zugrunde zu legen, die Täterschaft der beschuldigten Person sei erstellt. Diese Auffassung steht in Einklang mit der Rechtsprechung des Europäischen Gerichtshofes für Menschenrechte (EGMR). Dieser hat nämlich in seinem Urteil Bernard gegen Frankreich vom 23. April 1998 festgehalten, es sei nicht zu beanstanden, dass die sachverständige Person von der erst Gegenstand der Strafuntersuchung bildenden Hypothese ausgegangen war, die angeschuldigte Person habe die Tat verübt (Recueil CourEDH, 1998-II, S. 867 ff., §§ 38 ff.).
Es muss aber für die sachverständige Person ersichtlich sein, welche Tatsachen als erstellt gelten können und welche dem Gutachten bloss als Annahmen zugrunde zu legen sind (DONATSCH/ZUBERBÜHLER, a.a.O., S. 348; vgl. auch MATTHIAS BRUNNER, Psychiatrische Gutachter agieren im rechtsfreien Raum, Plädoyer 3/2005, S. 40; ANDREAS DONATSCH, Das Sachverständigengutachten im Strafprozess, forumpoenale 2/2019, S. 137).
Die Wahl der sachlich gebotenen Untersuchungsführung liegt im pflichtgemässen Ermessen der Staatsanwaltschaft (vgl. Art. 16 Abs. 2 i.V.m. Art. 6 Abs. 1, Art. 139 Abs. 1 und Art. 308 Abs. 1 StPO; <ref-ruling> E. 4.4.2). Diesem Ermessensspielraum hat das Bundesgericht Rechnung zu tragen, wenn es um die Frage des Zeitpunktes einer von der Staatsanwaltschaft angeordneten psychiatrischen Begutachtung geht. Wurde der Zeitpunkt in vertretbarer Weise festgelegt, hat das Bundesgericht deshalb nicht einzugreifen.
3.
3.1. Der Beschwerdeführer stellt sich auf den Standpunkt, die psychiatrische Begutachtung sei zu früh angeordnet worden. Diesbezüglich macht er zusammengefasst geltend, es würden im Zusammenhang mit zwei angeblichen Vorfällen schwere Vorwürfe gegen ihn erhoben. Betreffend den ersten Vorfall vom 28. Mai 2018 seien die Ermittlungshandlungen offenbar abgeschlossen. Was den zweiten Vorfall betreffe, liege aber - anders als nach Auffassung der Vorinstanz - kein für die Anordnung einer psychiatrischen Begutachtung hinreichend abgeklärter Sachverhalt vor. Denn hinsichtlich des entsprechenden Vorfalls, der am 28. März 2021 stattgefunden haben solle, seien nur Protokolle polizeilicher Einvernahmen von ihm selbst und des angeblichen Opfers (B._) aktenkundig. Er sei noch nicht parteiöffentlich befragt worden, und sein Mobiltelefon sowie die sichergestellten Spuren seien nach wie vor noch nicht ausgewertet worden. Obschon damit Ermittlungsresultate von eminenter Wichtigkeit noch ausstehen würden, sei der Gutachtensauftrag erteilt worden. Das von der Vorinstanz geschützte Vorgehen der Staatsanwaltschaft führe dazu, dass sich für die sachverständige Person die Arbeit mit Hypothesen und die Beurteilung von Eventualkonstellationen aufdränge. Dies berge ein Potential für Fehlinterpretationen in sich. Der angefochtene Entscheid verletze daher <ref-law> und die strafprozessuale Untersuchungsmaxime (<ref-law>).
3.2. Die Vorinstanz führte im angefochtenen Beschluss aus, bezüglich des ersten Vorfalles vom 28. Mai 2018, der zur Eröffnung eines Verfahrens wegen Vergewaltigung, versuchter Vergewaltigung, sexueller Nötigung und Hausfriedensbruchs geführt habe, sei der Sachverhalt hinreichend abgeklärt. Der Sachverständige müsse deshalb zu diesem Vorfall keine Sachverhaltshypothesen aufstellen oder mögliche Eventualkonstellationen beurteilen. Am 28. März 2021, als sich der zweite Vorfall ereignet habe, habe man das Opfer B._ polizeilich befragt. Auch hätten gleichentags Einvernahmen des Beschwerdeführers (aufgrund einer Delegation an die Polizei sowie anlässlich der Hafteröffnung) stattgefunden. Vor der Anordnung der Begutachtung seien ferner weitere Personen befragt worden, die das Rahmengeschehen vor und nach dem Vorfall sowie das Verhalten und die Reaktionen des Beschwerdeführers sowie des Opfers hätten beschreiben können (C._ [Vater des Opfers], D._ [Mutter des Opfers], E._ [Freundin des Beschwerdeführers], F._ [Kollegin des Opfers], G._ [Kollege des Opfers] und H._ [Ex-Freundin des Beschwerdeführers]). Ferner seien auch bereits die ärztlichen und forensisch-toxikologischen Untersuchungen durchgeführt worden. Zudem habe schon ein rechtsmedizinisches Gutachten zur körperlichen und gynäkologischen Untersuchung des Opfers erstellt werden können. Unter diesen Umständen sei auch der Sachverhalt betreffend den zweiten Vorfall hinreichend geklärt gewesen, um die psychiatrische Begutachtung anzuordnen. Im Übrigen sei im Gutachtensauftrag darauf hingewiesen worden, dass die Ermittlungen noch nicht abgeschlossen seien und welche Sachverhaltselemente seitens des Beschwerdeführers bestritten würden.
4.
4.1. Bezüglich des ersten Vorfalles vom 28. Mai 2018 ist nicht ersichtlich und wird auch vom Beschwerdeführer nicht geltend gemacht, es liege ein für eine Begutachtung ungenügend abgeklärter Sachverhalt vor.
4.2. Was den zweiten Vorfall vom 28. März 2021 betrifft, ist im Gutachtensauftrag und im angefochtenen Beschluss insbesondere die Schilderung des Opfers B._ wiedergegeben. Danach soll diese etwa um 4:00 Uhr morgens von einem unbekannten Mann gepackt und mit einem spitzen Gegenstand bedroht worden sein. Sie habe sich mit einem vom Boden aufgehobenen zerbrochenen Flaschenhals gewehrt. Dabei habe sie den Unbekannten ziemlich sicher an der Hand verletzt. Anschliessend habe der Unbekannte zunächst von ihr abgelassen. In der Folge habe er sie aber zu einem Auto gezogen und gezwungen, ihn oral zu befriedigen. Anschliessend habe er sie anal und vaginal penetriert, wobei sie die ganze Zeit "nein, nein, nein" gesagt habe. Der Mann sei in einem seltsamen psychischen Zustand gewesen.
Gemäss dem Gutachtensauftrag wurde der Beschwerdeführer kurz nach dem (angeblichen) Tatzeitpunkt im Spitalzentrum X._ angehalten, wohin er sich zur Verarztung seiner verletzten Hand begeben hatte. Der Beschwerdeführer bestreitet nach den Ausführungen im angefochtenen Beschluss und im Gutachtensauftrag nicht, von B._ oral befriedigt worden zu sein. Er erkläre jedoch, dieser Sexualkontakt sei einvernehmlich erfolgt und zu analem oder vaginalem Geschlechtsverkehr sei es nicht gekommen.
4.3. Als die sachverständige Person bestellt wurde, waren die Ermittlungen zum zweiten Vorfall noch nicht abgeschlossen. Dies ist im Gutachtensauftrag ausdrücklich festgehalten. Allein schon aufgrund der erwähnten Aussagen und mit Blick auf den Umstand, dass der Beschwerdeführer kurz nach dem mutmasslichen Tatzeitpunkt eine verletzte Hand verarzten liess, bestanden aber bereits damals Indizien, dass er am 26. März 2021 ein Sexualdelikt zum Nachteil von B._ begangen und dabei unter einer strafrechtlich relevanten psychischen Störung gelitten haben könnte. Damit stand zur Zeit der Anordnung des Gutachtens fest, dass bei einer Erhärtung des entsprechenden Tatverdachts für die Fortsetzung des Verfahrens die Beantwortung der im Gutachtensauftrag aufgeführten Fragen durch einen Psychiater unabdingbar sein würde. Zudem befand sich der Beschwerdeführer gemäss den Ausführungen im Gutachtensauftrag am 7. Mai 2021 in Untersuchungshaft. Dies legte eine möglichst beförderliche Bestellung einer sachverständigen Person nahe.
Zwar konnte die angeordnete Begutachtung seinerzeit selbstredend nur unter der Hypothese durchgeführt werden, dass es sich bei dem von B._ genannten unbekannten Mann um den Beschwerdeführer handelte und sich die Tat im Wesentlichen so ereignete wie von ihr beschrieben. Der Gutachtensauftrag zwingt aber die sachverständige Person nicht dazu, selbst Sachverhaltshypothesen aufzustellen und mögliche Eventualkonstellationen zu beurteilen.
Unter diesen Umständen und mit Blick darauf, dass die Wahl der sachlich gebotenen Untersuchungsführung durch die Staatsanwaltschaft vom Bundesgericht nur zurückhaltend überprüft wird, ist es bundesrechtskonform, dass die sachverständige Person im interessierenden Zeitpunkt bestellt wurde. Es bestand insbesondere kein zwingender Grund, vorab die Aufnahmen auf dem Mobiltelefon des Beschwerdeführers auszuwerten, auch wenn diese (wie im Gutachtensauftrag ausgeführt wird) seiner Auffassung nach die Einvernehmlichkeit des Oralverkehrs belegen sollen.
Die Vorbringen in der Beschwerde zum Zeitpunkt der Bestellung der sachverständigen Person sind somit unbegründet.
5.
5.1. Der Beschwerdeführer macht ferner geltend, die Fragen im Gutachtensauftrag seien tendenziös formuliert und würden seine Täterschaft unterstellen. Damit liege ein Verstoss gegen die Unschuldsvermutung von <ref-law> vor. Im Einzelnen stösst sich der Beschwerdeführer an den in den Fragen des Gutachtensauftrages enthaltenen Wörtern und Wendungen "Tatzeitpunkt", "Tatzeitraum", "Tatzeit", "zur Zeit der Tat (en) ", "Unrecht der Tat (en) ", "vorgeworfene Tat", "Rückfallwahrscheinlichkeit zu reduzieren", "Falls der Täter zur Zeit der Tat" und "Besteht die Gefahr erneuter Katalogdelikte".
5.2. Die Beschreibung des mutmasslichen Tatgeschehens am 28. August 2018 und 28. März 2021 im Gutachtensauftrag ist relativ neutral formuliert. Insbesondere wird darin der "Täter" bezeichnenderweise nicht mit dem Beschwerdeführer als "Beschuldigtem" gleichgesetzt. Vielmehr wird im Zusammenhang mit dem "Täter" jeweils von einem "unbekannten Mann" gesprochen (s. jedoch auch E. 5.3 hiernach). Es wird in dieser Beschreibung mit anderen Worten Raum für die Möglichkeit belassen, dass es sich beim Täter trotz gegenteiliger Indizien nicht um den Beschwerdeführer handelte.
Unter Berücksichtigung dieser Sachverhaltsbeschreibung können die in der Beschwerde beanstandeten Ausdrücke nicht als unzulässige Vorverurteilung verstanden werden. Denn aus dem Kontext ergibt sich, dass die Täterschaft des Beschwerdeführers eine Hypothese und somit nicht erstellt ist.
Gegen die Formulierungen "Tatzeitpunkt", "Tatzeitraum", "Tatzeit", "zur Zeit der Tat (en) ", "Unrecht der Tat (en) " und "vorgeworfene Tat" ist im Übrigen unter dem Gesichtspunkt der Unschuldsvermutung von <ref-law> ohnehin nichts einzuwenden. Denn damit wird nicht zum Ausdruck gebracht, dass der Beschwerdeführer für schuldig gehalten wird.
5.3. Nicht zu verkennen ist aber, dass die Formulierung der Fragen bei isolierter Betrachtung teilweise ungeschickt gewählt ist. So wird der Beschwerdeführer an einer Stelle dennoch als "Täter" bezeichnet. Auch wird bei ihm von einer "Rückfallwahrscheinlichkeit" bzw. Rückfallgefahr gesprochen, was schon begrifflich seine Täterschaft voraussetzt. Solche Formulierungen lassen sich - anders als im angefochtenen Urteil suggeriert wird - auch nicht etwa unter Hinweis auf entsprechende Wendungen in standardisierten Fragebogen für forensisch-psychiatrische Gutachten wie dem Fragenkatalog für psychiatrische Gutachten der Schweizerischen Staatsanwälte-Konferenz (SSK) rechtfertigen. Indessen kann davon ausgegangen werden, dass ein Gutachter die problematischen Formulierungen in einer Konstellation wie der vorliegenden richtig in den Gesamtkontext einzuordnen vermag und sie nicht als (Vor-) Verurteilung der beschuldigten Person missversteht (vgl. zu ungeschickten Äusserungen eines Staatsanwaltes und voreiligen präjudiziellen Äusserungen der Untersuchungsleitung auch <ref-ruling> E. 3.2.3; <ref-ruling> E. 2d; <ref-ruling> E. 6; Urteil 1B_278/2020 vom 18. August 2020 E. 3.3; je mit Hinweisen). Da vorliegend nur vereinzelt problematische Formulierungen verwendet wurden, lässt sich entgegen dem Beschwerdeführer auch nicht annehmen, sie würden den Sachverständigen unterschwellig beeinflussen. Es ist im Übrigen von vornherein nicht davon auszugehen, dass Formulierungen der an den Gutachter gestellten Fragen die freie Beweiswürdigung (vgl. <ref-law>) durch das später in der Sache urteilende Gericht beeinträchtigen.
Ein Verstoss gegen die Unschuldsvermutung von <ref-law> lässt sich nach dem Gesagten nicht ausmachen.
6.
Der Beschwerdeführer begründet seine Anträge zu den Kosten- und Entschädigungsfolgen des vorinstanzlichen Verfahrens (einschliesslich Rück- und Nachleistungspflicht) einzig mit der als bundesrechtswidrig gerügten Anordnung der psychiatrischen Begutachtung. Bei diesem Verfahrensausgang erübrigt es sich, darauf einzugehen.
7.
Die Beschwerde ist aus den genannten Erwägungen abzuweisen, soweit darauf einzutreten ist.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Prozessführung und Rechtsverbeiständung für das bundesgerichtliche Verfahren. Da die gesetzlichen Voraussetzungen erfüllt sind, kann dem Gesuch entsprochen werden (<ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
2.
Das Gesuch um unentgeltliche Rechtspflege wird gutgeheissen.
2.1. Es werden keine Gerichtskosten erhoben.
2.2. Rechtsanwalt Matthias Wasem wird zum unentgeltlichen Rechtsbeistand ernannt und für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse mit Fr. 1'500.-- entschädigt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Generalstaatsanwaltschaft des Kantons Bern und dem Obergericht des Kantons Bern, Beschwerdekammer in Strafsachen, schriftlich mitgeteilt.
Lausanne, 13. Oktober 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: König