Erwägungen:
1.
1.1. Am 12. bzw. 13. November 2018 ersuchte A._ das Staatsarchiv des Kantons Basel-Stadt (nachfolgend: das Staatsarchiv) darum, ihm die ihn betreffende Patientenakte der Psychiatrischen Universitätspoliklinik für Kinder und Jugendliche sowie die von der Jugendanwaltschaft über ihn angelegte Jugendpersonalakte (sowie allfällige Kopien dieser Akten) herauszugeben. Eventualiter sei der Zugang zu diesen Akten komplett zu sperren.
Mit Verfügung vom 29. März 2019 wies das Staatsarchiv das Gesuch um Aktenherausgabe ab. Soweit über die gesetzlich vorgesehenen Beschränkungen hinausgehend, wies es auch den Eventualantrag um Sperrung der Akten ab.
1.2. Gegen die Verfügung des Staatsarchivs vom 29. März 2019 erhob A._ Rekurs beim Präsidialdepartement des Kantons Basel-Stadt (nachfolgend: das Präsidialdepartement).
Im Sinne einer vorsorglichen Massnahme ersuchte er dabei darum, den Zugang zu den Patienten- und Jugendpersonalakten bis zum Vorliegen eines rechtskräftigen Entscheids komplett zu sperren, wobei diese Sperrung insbesondere auch für das Staatsarchiv und alle am Rekursverfahren beteiligten Personen zu gelten habe; zudem sei für das Rekursverfahren auf den Beizug der Patienten- und Jugendpersonalakten zu verzichten. Mit Zwischenentscheid vom 9. Mai 2019 verfügte das Präsidialdepartement in teilweiser Gutheissung des Antrags auf Erlass einer vorsorglichen Massnahme die Sperrung der Patienten- und Jugendpersonalakten bis zum Vorliegen eines rechtskräftigen Entscheids im Rekursverfahren. Die Akteneinsicht durch die Rekursinstanz und "weitere Verfahrensbeteiligte" wurde von dieser vorsorglichen Sperrung ausgenommen. Im Übrigen wies das Präsidialdepartement den Antrag auf Erlass vorsorglicher Massnahmen ab. Dieser Zwischenentscheid des Präsidialdepartements vom 9. Mai 2019 wurde vom Appellationsgericht des Kantons Basel-Stadt (nachfolgend: das Appellationsgericht) mit Urteil vom 11. September 2019 und vom Bundesgericht mit Urteil 2C_891/2019 vom 11. Februar 2020 im Wesentlichen geschützt.
Am 28. Dezember 2020 entschied das Präsidialdepartement in der Sache.
1.3. Gegen den Entscheid des Präsidialdepartements vom 28. Dezember 2020 gelangte A._ mit Eingabe vom 26. Februar 2021 an den Regierungsrat des Kantons Basel-Stadt, welcher das Rechtsmittel nach Darstellung von A._ "als Sprungrekurs" an das Appellationsgericht überwies. In der Eingabe vom 16. Februar 2021 stellte A._ verfahrensrechtlich den Antrag, diejenige Behörde, die sich aktuell im Besitz der "Patientenakte" und der "Jugendpersonalakte" befinde, im Sinne einer vorsorglichen Massnahme umgehend anzuweisen, die Akten zu versiegeln und bis zum Vorliegen eines rechtskräftigen Entscheids versiegelt in einem Safe aufzubewahren.
1.4. Mit Präsidialverfügung vom 26. Mai 2021 wies das Appellationsgericht das Gesuch um Erlass vorsorglicher Massnahmen ab. Der Präsident des Appellationsgerichts erwog im Wesentlichen, dem Entscheid des Präsidialdepartements könne - wie auch schon der Verfügung des Staatsarchivs - entnommen werden, dass die Akte des Beschwerdeführers frühestens 10 Jahre nach dessen Tod benutzt werden dürfe. Es bestehe mithin derzeit keine Gefahr, dass die Akte Dritten zugänglich gemacht werde. Es fehle daher an einem dringenden Schutzinteresse, welches nur durch eine Siegelung oder Verwahrung in einem Safe gewahrt werden könne.
1.5. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten vom 3. Juni 2021 ficht A._ die Präsidialverfügung des Appellationsgerichts vom 26. Mai 2021 beim Bundesgericht an. Dabei ersucht er auch um Anordnung vorsorglicher Massnahmen.
2.
2.1. Die Rechtsfragen, die der Beschwerdeführer im vorliegenden Verfahren aufwirft, decken sich im Wesentlichen mit den Rechtsfragen, die vom Bundesgericht bereits im Urteil 2C_891/2019 vom 11. Februar 2020 beurteilt worden sind. Es kann deshalb im Wesentlichen auf jenes Urteil verwiesen werden, insbesondere auch bezüglich der Frage, ob das Appellationsgericht und die am Schriftenwechsel beteiligten Verfahrensbeteiligten in die Akten Einsicht nehmen können (a.a.O., E. 3.2.1-3.2.4). Das Argument des Beschwerdeführers, dass sich die Dinge nun - im Verfahren vor dem Appellationsgericht als Verwaltungsgericht - anders verhielten, als noch im Verfahren vor dem Präsidialdepartement, verfängt nicht, zumal das Appellationsgericht als Verwaltungsgericht aufgrund von § 18 des basel-städtischen Gesetzes vom 14. Juni 1928 über die Verfassungs- und Verwaltungsrechtspflege (VRPG/BS; SG 270.100) dazu verpflichtet ist, die materielle Wahrheit von Amtes wegen zu erforschen. Anders als der Beschwerdeführer meint, lässt sich im Übrigen auch die Frage der gesetzlichen Grundlage nicht losgelöst vom Inhalt der streitbetroffenen Akten beurteilen; denn die verfassungsrechtlichen Anforderungen an die gesetzliche Grundlage hängen ganz wesentlich von der Schwere des Grundrechtseingriffs ab, hier also gerade vom Inhalt und der Schutzwürdigkeit der in der "Patientenakte" und der "Jugendpersonalakte" enthaltenen Daten.
2.2. Die Beschwerde erweist sich damit als offensichtlich unbegründet (<ref-law>). Bei dieser Sachlage muss nicht weiter vertieft werden, ob die Vorbringen des Beschwerdeführers den gesetzlichen Rügeanforderungen Genüge tun (Art. 98, Art. 106 Abs. 2 BGG). Die Beschwerde ist abzuweisen, soweit darauf einzutreten ist.
3.
Bei diesem Verfahrensausgang (vgl. E. 2.2 hiervor) sind die Verfahrenskosten dem Beschwerdeführer aufzuerlegen (<ref-law>). Entgegen der Auffassung des Beschwerdeführers hat nicht die Vorinstanz das Verfahren vor Bundesgericht unnötig verursacht, so dass ihr die Kosten aufzuerlegen wären. Das Gesuch um (superprovisorische) Anordnung vorsorglicher Massnahmen ist mit vorliegendem Urteil gegenstandslos.

Demnach erkennt der Präsident:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Verfahrenskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird den Verfahrensbeteiligten und dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht Dreiergericht schriftlich mitgeteilt.
Lausanne, 10. Juni 2021
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Seiler
Der Gerichtsschreiber: Brunner