Sachverhalt:
A.
A._ verbüsst eine lebenslängliche Freiheitsstrafe. Er war in der Justizvollzugsanstalt Bostadel platziert. Seit dem 25. Februar 2021 befindet er sich im Sinne einer Zwischenplatzierung im Untersuchungsgefängnis Solothurn.
Mit Verfügung vom 18. Februar 2021 wurden A._ unter verschiedenen Auflagen Ausgänge in Doppelbegleitung der Polizei bewilligt. Mit Eingabe vom 16. März 2021 beantragte er beim Amt für Justizvollzug des Kantons Solothurn, diese Verfügung anzupassen oder eine neue Verfügung zu erlassen. Sodann forderte er am 29. März 2021 von diesem Amt, eine entsprechende Anordnung innert zehn Tagen zu erlassen.
Mit Eingabe vom 13. April 2021 erhob A._ Beschwerde wegen Rechtsverweigerung bzw. Rechtsverzögerung. Er rügte, er habe noch keine Verfügung vom Amt für Justizvollzug des Kantons Solothurn erhalten. Mit Entscheid vom 19. April 2021 wies das Departement des Innern des Kantons Solothurn das Rechtsmittel ab.
B.
Eine hiergegen erhobene Beschwerde von A._ wurde vom Verwaltungsgericht des Kantons Solothurn mit Urteil vom 15. Juni 2021 abgewiesen.
C.
Mit einer als "Rekurs" bezeichneten Beschwerde in Strafsachen an das Bundesgericht vom 24. Juni 2021 beantragt A._, unter Aufhebung des Urteils des Verwaltungsgerichts sei das Amt für Justizvollzug anzuweisen, umgehend eine Verfügung betreffend die begleiteten Ausgänge zu erlassen. Zur Begründung führt der Beschwerdeführer an, das Verbot der Rechtsverweigerung bzw. Rechtsverzögerung sei verletzt worden, weil das Amt für Justizvollzug die geforderte Anpassung der Verfügung vom 18. Februar 2021 bislang nicht vorgenommen habe.
Das Amt für Justizvollzug beantragt die Abweisung der Beschwerde. Das Verwaltungsgericht stellt den Antrag, die Beschwerde abzuweisen, soweit darauf eingetreten werden könne. Das Departement des Innern hat auf eine Vernehmlassung verzichtet. Der Beschwerdeführer und das Amt für Justizvollzug halten mit Eingaben vom 16. August und 7. September 2021 an ihren Anträgen fest.

Erwägungen:
1.
Zwar schliesst der angefochtene Entscheid das Verfahren nicht ab. Bei Beschwerden wegen Rechtsverweigerung und -verzögerung (<ref-law>) verlangt das Bundesgerichtsgesetz als Zulässigkeitserfordernis jedoch keinen zusätzlichen nicht wieder gutzumachenden Rechtsnachteil im Sinne von <ref-law> (vgl. <ref-ruling>). Auch die übrigen gesetzlichen Sachurteilsvoraussetzungen sind erfüllt und geben zu keinen weiteren Bemerkungen Anlass.
2.
Der Beschwerdeführer macht erstmals vor dem Bundesgericht geltend, am 18. Februar 2021 sei seine Umplatzierung verlangt worden, weshalb bereits zu diesem Zeitpunkt klar gewesen sei, dass die Verfügung betreffend die begleiteten Ausgänge angepasst werden müsse. Ebenfalls erstmals vor dem Bundesgericht vorgebracht wird seitens des Amtes für Justizvollzug, im Rahmen einer Zwischenplatzierung im Untersuchungsgefängnis Solothurn der vorliegenden Art komme es aufgrund der damit verbundenen logistischen Herausforderung für das Gefängnispersonal grundsätzlich nicht zur Durchführung von Vollzugsöffnungen. Ferner erklärt dieses Amt in der Beschwerdeantwort neu, in einer Konstellation wie der vorliegenden sei regelmässig ein schwieriges Vollzugsverhalten gegeben; diesfalls sei es geboten, neu zu überprüfen, ob Vollzugsöffnungen vertretbar seien. Zudem führt es neu aus, aufgrund einer Teilnahme des Beschwerdeführers an einem Verfahren zur Qualifikation als [...] hätten umfangreiche Abklärungen vorgenommen und aufgrund des Todes von zwei seiner Verwandten hätten vorgezogene begleitete Sachurlaube organisiert werden müssen. Schliesslich macht das Amt in der Beschwerdeantwort Ausführungen zu einer geplanten Versetzung des Beschwerdeführers in die Justizvollzugsanstalt Thorberg und zu diesbezüglichen Vorbereitungsarbeiten.
Zum Teil handelt es sich bei den hier erwähnten (angeblichen) Umständen um erst nach Erlass des angefochtenen Urteils eingetretene Tatsachen. Insoweit liegen echte Noven vor, die im Verfahren vor dem Bundesgericht nicht zu berücksichtigen sind (vgl. <ref-ruling> E. 5.2.4; <ref-ruling> E. 1.2 mit Hinweisen). Im Übrigen ist weder dargetan noch ersichtlich, inwiefern erst der Entscheid der Vorinstanz Anlass dazu gab, sich auf die nunmehr geltend gemachten Tatsachen zu berufen. Diese Umstände haben daher im vorliegenden Beschwerdeverfahren unberücksichtigt zu bleiben (vgl. <ref-law>; BGE <ref-ruling> E. 1.2; <ref-ruling> E. 3; je mit Hinweisen).
3.
3.1. <ref-law> umfasst als Teilgehalt das Verbot der formellen Rechtsverweigerung. Im engeren Sinne liegt eine solche vor, wenn eine Behörde auf eine Eingabe fälschlicherweise nicht eintritt oder eine solche nicht an die Hand nimmt und behandelt, obwohl sie dazu verpflichtet wäre. Dies beurteilt sich nach dem anwendbaren Verfahrensrecht (vgl. <ref-ruling> E. 3.1; <ref-ruling> E. 2.1). Aus <ref-law> ergibt sich weiter der Anspruch auf Beurteilung innert angemessener Frist für alle Verfahren vor Gerichts- und Verwaltungsbehörden (vgl. <ref-ruling> E. 7.1; <ref-ruling> E. 2.3). Dieses Beschleunigungsgebot ist auch im Bereich des Strafvollzugs anwendbar (vgl. <ref-ruling> E. 2.3 mit Hinweisen).
Ob die Pflicht zur beförderlichen Behandlung verletzt worden ist, entzieht sich starren Regeln und hängt von den konkreten Umständen des Einzelfalls ab, die in ihrer Gesamtheit zu würdigen sind. Kriterien für die Angemessenheit der Verfahrensdauer sind etwa die Komplexität des Sachverhalts, die gebotenen Untersuchungshandlungen, die Schwierigkeit und Dringlichkeit der Sache, das Verhalten der Behörden und dasjenige der Parteien sowie die Zumutbarkeit für diese (vgl. <ref-ruling> E. 1.3.1; <ref-ruling> E. 3.1; Urteil 6B_1003/2020 vom 21. April 2021 E. 3.3.1). Massgebend ist, ob das Verfahren in Anbetracht der auf dem Spiel stehenden Interessen zügig durchgeführt worden ist und die Behörden insbesondere keine unnütze Zeit haben verstreichen lassen (<ref-ruling> E. 3a).
3.2.
3.2.1. Vorliegend wurden dem Beschwerdeführer am 18. Februar 2021 unter Auflagen begleitete Ausgänge bewilligt. Es ist unbestritten, dass seine am 25. Februar 2021 erfolgte Umplatzierung ins Untersuchungsgefängnis Solothurn diesbezüglich neue Anordnungen erforderlich machte. Am 16. März 2021 ersuchte der Beschwerdeführer denn auch das Amt für Justizvollzug, die Verfügung vom 18. Februar 2021 anzupassen oder eine neue Verfügung zu erlassen. Seit diesem Ersuchen sind bis zum Erlass des angefochtenen Urteils vom 15. Juni 2021 rund drei Monate verstrichen, ohne dass die geforderten Anordnungen getroffen worden wären. Zu prüfen ist, ob diese Zeitspanne unter Berücksichtigung der gesamten Umstände des vorliegenden Falles auf eine Verletzung des Beschleunigungsgebotes schliessen lässt.
3.2.2. Gemäss den Feststellungen der Vorinstanz verlangte die durch den Anstaltswechsel veränderte Sachlage gewisse Abklärungen. Der Beschwerdeführer macht geltend, es könne sich dabei nicht um "grossartige neue Abklärungen" handeln, da der Grundsatzentscheid betreffend die Ausgänge schon getroffen worden sei. Es ist aber nicht ersichtlich, weshalb - wie in der Beschwerde suggeriert wird - bloss Abklärungen zur Verfügbarkeit von Polizeikräften für die begleiteten Ausgänge erforderlich gewesen sein sollten. Das Amt für Justizvollzug hatte in tatsächlicher Hinsicht vielmehr auch zu prüfen, ob zwischenzeitlich in der Person des Beschwerdeführers bzw. dessen Verhalten liegende Umstände eingetreten waren, welche für den Entscheid über die begleiteten Ausgänge aus dem Untersuchungsgefängnis Solothurn erheblich sind.
Gleichwohl bestehen keine Anhaltspunkte für die Annahme, dass die geforderte, einzig zeitlich beschränkte Ausgänge betreffende Verfügung nur gestützt auf weitläufige und zeitraubende Abklärungen hätte erlassen werden können. Dies macht auch das Departement in seiner Vernehmlassung nicht geltend. Auch deutet nichts auf besondere, mit dem Fall verbundene Schwierigkeiten für die Behörden hin. Ins Gewicht fällt zudem, dass für die Zeitspanne zwischen dem Zeitpunkt des Eingangs des Ersuchens vom 16. März 2021 und dem Zeitpunkt des Erlasses des angefochtenen Urteils vom 15. Juni 2021 keine behördlichen Aktivitäten ersichtlich sind, mit welchen das Verfahren vorangetrieben worden wäre.
3.2.3. In zeitlicher Hinsicht bestand sodann eine gewisse Dringlichkeit, da dem Beschwerdeführer ohne Erlass einer Verfügung die (allenfalls bestehende) Möglichkeit genommen wurde, in den Genuss begleiteter Ausgänge zu kommen. Zu berücksichtigen ist in diesem Zusammenhang nicht zuletzt, dass die Ausgänge nicht nur ein Privileg für Strafgefangene darstellen, sondern auch einen Beitrag zur Wiedereingliederung und Resozialisierung bilden (vgl. dazu Urteil 6B_240/2018 vom 23. November 2018 E. 2.3 mit Hinweisen).
3.2.4. Nach Auffassung der Vorinstanz liegt keine überlange Verfahrensdauer vor, weil die Vollzugsbehörde unter anderem durch zahlreiche Eingaben und Gesuche des Beschwerdeführers einer hohen Belastung ausgesetzt gewesen sei. Es sei jedenfalls zu berücksichtigen, dass die kantonalen Behörden durch verschiedene, von ihm veranlasste (Beschwerde-) Verfahren beansprucht worden seien. Eine bewusste Verschleppung des Verfahrens durch die Behörden sei nicht zu erkennen.
Mangelhafte Organisation und strukturelle Überlastung bewahren nicht vor dem Vorwurf der Rechtsverzögerung. Der Staat ist seinen Bürgerinnen und Bürgern gegenüber zur Gewährung einer ordnungsgemässen Rechtspflege verpflichtet und hat sich entsprechend zu organisieren (<ref-ruling> E. 5.2 mit weiterem Hinweis). Die Verfahrensdauer lässt sich deshalb vorliegend nicht mit einer allgemein hohen Belastung des Amtes für Justizvollzug rechtfertigen. Auch setzt eine unzulässige Rechtsverzögerung keine bewusste Verschleppung des Verfahrens durch die Behörden voraus.
Das Verhalten des Beschwerdeführers ist zwar in die Beurteilung der Angemessenheit der Verfahrensdauer mit einzubeziehen. Es ist aber nicht ersichtlich, dass er sich im konkreten Verfahren betreffend die Bewilligung von Ausgängen aus dem Untersuchungsgefängnis Solothurn in einer verfahrensverzögernden Art und Weise verhalten hätte. Vielmehr hat er mit seiner Eingabe vom 29. März 2021 sinngemäss um eine raschere Abwicklung des Verfahrens ersucht und damit auf die zeitliche Dringlichkeit der Sache aufmerksam gemacht. Mit Blick auf sein Verhalten stellt sich einzig die Frage, ob gegen eine Rechtsverzögerung spricht, dass er mit zahlreichen weiteren Eingaben und Gesuchen sowie verschiedenen Beschwerden die kantonalen Behörden in Anspruch genommen hat.
Das Bundesgericht führte im unveröffentlichten Urteil P.423/1981 vom 19. Februar 1982 (in E. 2) gegen eine Rechtsverzögerung ins Feld, der Beschwerdeführer habe die Vollzugsbehörden und den Regierungsrat seit Beginn des Strafvollzuges mit Beschwerden geradezu überschwemmt, wobei sich keineswegs alle diese Beschwerden auf grundsätzliche Fragen bezogen hätten. Der Beschwerdeführer habe das Verfahren auch dadurch nicht unerheblich erschwert, dass er in denselben Fragen sowohl persönlich als auch durch Vermittlung seines Anwaltes an die Behörden des Kantons Bern gelangt sei. Er habe sich bewusst sein müssen, dass sein Vorgehen die Aufgabe der Rechtsmittelinstanzen erheblich erschwere und das Verfahren notwendigerweise verlängere. Es könne nicht erwartet werden, dass das dem Regierungsrat unterstellte Personal seine übrigen Aufgaben wegen der erwähnten Flut von Beschwerden vernachlässigen würde.
Der vorliegend zu beurteilende Sachverhalt ist insofern ähnlich gelagert, als der Beschwerdeführer ebenfalls mit einer grossen Zahl an Rechtsschriften an die Behörden gelangte und die entsprechenden Eingaben nicht alle grundsätzliche Frage betrafen. Doch besteht insofern ein rechtserheblicher Unterschied, als der Beschwerdeführer durch die Art und Weise der Einreichung der Eingaben keinen Zusatzaufwand verursachte. Namentlich hat er nicht zu identischen Fragen zugleich persönliche und durch einen Rechtsvertreter verfasste Rechtsschriften eingereicht. Es ist auch nicht ohne Weiteres ersichtlich, dass er von seinen Rechten mutwillig Gebrauch gemacht hätte. Unter diesen Umständen lässt sich nicht sagen, der Beschwerdeführer habe aufgrund seines Verhaltens die Behörden mit Beschwerden geradezu überschwemmt und daher nach Treu und Glauben keine beförderliche Behandlung seines Antrages auf Erlass einer Verfügung betreffend die Ausgänge erwarten dürfen.
Im Übrigen steht der Behörde zwar bei der zeitlichen Priorisierung ein erheblicher Ermessensspielraum zu (vgl. Urteil 1B_349/2019 vom 21. November 2019 E. 2.2). Doch erscheint es angesichts der erwähnten zeitlichen Dringlichkeit für den Beschwerdeführer nicht mehr als vertretbar, dass die Behandlung der vorliegenden Angelegenheit monatelang zurückgestellt worden ist. Anders als nach der Auffassung, die in der Beschwerdeantwort des Amtes für Justizvollzug vertreten wird, geht es insbesondere nicht an, mit dem Erlass einer Verfügung betreffend die Ausgänge bis zur Verlegung des Beschwerdeführers in eine andere Anstalt zuzuwarten.
Insgesamt lässt sich die Verzögerung des Entscheids des Amtes für Justizvollzug vor diesem Hintergrund nicht rechtfertigen. Folglich erweist sich die Rechtsverzögerungsbeschwerde als begründet.
4.
Demzufolge ist die Beschwerde gutzuheissen und der angefochtene Entscheid aufzuheben. Es ist festzustellen, dass im Verfahren betreffend die Bewilligung von Ausgängen des Beschwerdeführers aus dem Untersuchungsgefängnis Solothurn eine Rechtsverzögerung stattgefunden hat. Das Amt für Justizvollzug ist aufzufordern, in diesem Verfahren unverzüglich eine Verfügung zu erlassen. Das Bundesgericht verzichtet darauf, dem Amt für Justizvollzug hierzu eine verbindliche Frist anzusetzen (vgl. <ref-law>; Urteil 5A_768/2020 vom 23. November 2020 E. 4).
Bei diesem Ausgang des Verfahrens sind keine Gerichtskosten zu erheben (Art. 66 Abs. 1 und 4 BGG). Das vom Beschwerdeführer für das bundesgerichtliche Verfahren gestellte Gesuch um unentgeltliche Rechtspflege wird damit gegenstandslos.
Der nicht anwaltlich vertretene Beschwerdeführer, der keinen ausserordentlichen Aufwand darzutun vermag, hat praxisgemäss keinen Anspruch auf eine Parteientschädigung (vgl. <ref-law>; <ref-ruling> E. 4).

Demnach erkennt das Bundesgericht:
1.
1.1. Die Beschwerde wird gutgeheissen und das Urteil des Verwaltungsgerichts des Kantons Solothurn vom 15. Juni 2021 wird aufgehoben.
1.2. Es wird festgestellt, dass im Verfahren betreffend die Bewilligung von Ausgängen des Beschwerdeführers aus dem Untersuchungsgefängnis Solothurn eine Rechtsverzögerung stattgefunden hat. Das Amt für Justizvollzug des Kantons Solothurn wird angewiesen, in diesem Verfahren unverzüglich eine Verfügung zu erlassen.
2.
Für das bundesgerichtliche Verfahren werden keine Kosten erhoben.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Amt für Justizvollzug des Kantons Solothurn, dem Departement des Innern des Kantons Solothurn und dem Verwaltungsgericht des Kantons Solothurn schriftlich mitgeteilt.
Lausanne, 18. Oktober 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: König