Sachverhalt:
A.
Das Strafgericht Basel-Stadt verurteilte A._ am 21. Februar 2015 wegen versuchten Mordes zu einer Freiheitsstrafe von sechs Jahren. Der Vollzug der Strafe wurde zugunsten einer stationären Massnahme aufgeschoben. Die Höchstdauer dieser stationären Massnahme wurde am 20. Januar 2020 erreicht. Mit Beschluss vom 6. Februar 2020 verlängerte das Strafgericht die stationäre psychiatrische Behandlung um ein Jahr. Gegen diesen Beschluss erhob der Straf- und Massnahmenvollzug des Justiz- und Sicherheitsdepartements des Kantons Basel-Stadt (SMV) am 2. März 2020 Beschwerde beim Appellationsgericht des Kantons Basel-Stadt und beantragte die Verlängerung der Massnahme um zwei Jahre.
Mit Schreiben vom 8. Januar 2021 beantragte der SMV, A._ sei ab dem 20. Januar 2021 bis zum Beschwerdeentscheid in Sicherheitshaft zu versetzen. Am 19. Januar 2021 verfügte der Verfahrensleiter des Appellationsgerichts, Christian Hoenen, die provisorische Sicherheitshaft unter dem bisherigen Massnahmenregime und setzte eine mündliche Haftverhandlung auf den 25. Januar 2021 an. Mit Verfügung vom 25. Januar 2021 wurde über A._ bis zum rechtskräftigen Entscheid im Beschwerdeverfahren Sicherheitshaft angeordnet.
Eine von A._ dagegen erhobene Beschwerde hiess das Bundesgericht mit Urteil 1B_96/2021 vom 25. März 2021 teilweise gut. Es hob die Verfügung vom 25. Januar 2021 auf, soweit darin die Sicherheitshaft ohne Befristung angeordnet wurde. Es bewilligte die Sicherheitshaft bis zum Entscheid im kantonalen Beschwerdeverfahren, längstens aber bis zum 18. April 2021. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat.
B.
Mit Verfügung vom 13. April 2021 verlängerte das Appellationsgericht, Einzelgericht, die vollzugsrechtliche Sicherheitshaft um einen Tag bis zur mündlichen Hauptverhandlung im kantonalen Beschwerdeverfahren am 19. April 2021. Eine von A._ dagegen erhobene Beschwerde hiess das Bundesgericht mit Urteil 1B_236/2021 vom 1. Juni 2021 teilweise gut. Es stellte fest, dass das Appellationsgericht den Anspruch von A._ auf rechtliches Gehör verletzt hatte. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat.
C.
Mit Verfügung vom 20. April 2021 hat das Appellationsgericht, Einzelgericht, unterschrieben von Christian Hoenen, die vollzugsrechtliche Sicherheitshaft von A._ vorerst provisorisch bis zum 30. April 2021 verlängert. Schliesslich hat es mit Verfügung vom 28. April 2021 die Sicherheitshaft bis zur Rechtskraft des am 19. April 2021 durch das Appellationsgericht, Dreiergericht, unter dem Vorsitz von Christian Hoenen, ergangenen Entscheids in der Hauptsache (Verlängerung der stationären Massnahme) verlängert.
D.
Mit Beschwerde in Strafsachen an das Bundesgericht vom 28. Mai 2021 beantragt A._, die Verfügung des Appellationsgerichts vom 28. April 2021 sei vollumfänglich aufzuheben und er sei unverzüglich aus der vollzugsrechtlichen Sicherheitshaft zu entlassen. Es sei festzustellen, dass die gegen ihn angeordnete Sicherheitshaft seit dem 18. April 2021 ungesetzlich und verfassungswidrig sei. Eventualiter sei er unverzüglich unter Anordnung von Ersatzmassnahmen aus der Sicherheitshaft zu entlassen. Subeventualiter sei die Sache zur Durchführung eines gesetzeskonformen Haftprüfungs- resp. Haftverlängerungsverfahrens an die Vorinstanz zurückzuweisen. Weiter sei der Kanton Basel-Stadt gestützt auf Art. 5 Ziff. 5 EMRK zu verpflichten, ihm für den unrechtmässigen Freiheitsentzug seit dem 18. April 2021 eine Entschädigung in der Höhe von CHF 200.00 pro Tag ungesetzlicher Haft auszurichten.
Der SMV stellt den Antrag, die Beschwerde abzuweisen. Er ist der Auffassung, es könne nicht weiterhin von einem positiven Vollzugsverlauf gesprochen werden. Dies zeige sich unter anderem darin, dass der Beschwerdeführer anfangs Mai 2021 sein Lehrvertragsverhältnis einseitig aufgelöst habe und andererseits am 9. Mai 2021 erneut positiv auf Alkohol getestet worden sei. Das Appellationsgericht verzichtet auf eine Vernehmlassung und beantragt ebenfalls die Abweisung der Beschwerde. Der Beschwerdeführer hält mit Schreiben vom 5. Juli 2021 an seinen Anträgen fest.

Erwägungen:
1.
Angefochten ist die Verfügung vom 28. April 2021, mit der das Appellationsgericht die vollzugsrechtliche Sicherheitshaft des Beschwerdeführers verlängert hat. Dagegen steht grundsätzlich die Beschwerde in Strafsachen an das Bundesgericht offen (vgl. Art. 78 Abs. 1, Art. 80 Abs. 1 und 2 und <ref-law>). Der Beschwerdeführer nahm vor der Vorinstanz am Verfahren teil und befindet sich nach wie vor in Sicherheitshaft. Er ist mithin gemäss <ref-law> zur Beschwerde berechtigt. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, so dass grundsätzlich auf die Beschwerde einzutreten ist.
2.
Der Beschwerdeführer ist der Auffassung, Christian Hoenen hätte als Verfahrensleiter der in der Hauptsache (Verlängerung der stationären Massnahme) zuständigen Beschwerdekammer nicht gleichzeitig auch die Verlängerung der vollzugsrechtlichen Sicherheitshaft anordnen dürfen. Ein solches verfahrensrechtliches Vorgehen sei aufgrund der neuen gesetzlichen Regelung in der StPO klarerweise bundesrechtswidrig. Gemäss <ref-law> müsse die Fortsetzung der Sicherheitshaft bei der Verfahrensleitung des Berufungsgerichts beantragt werden. Christian Hoenen sei aber Verfahrensleiter des kantonalen Beschwerdeverfahrens. Die angefochtene Verfügung vom 28. April 2021 sei folglich aufzuheben.
2.1. Nach dem am 1. März 2021 in Kraft getretenen <ref-law> hat die Verfahrensleitung gemäss Abs. 1 in sinngemässer Anwendung von <ref-law> ein Haftverfahren durchzuführen und dem Zwangsmassnahmengericht beziehungsweise der Verfahrensleitung des Berufungsgerichts die Anordnung der Sicherheitshaft zu beantragen.
2.2. Ausgangspunkt der Auslegung eines Rechtssatzes bildet der Wortlaut der Bestimmung (grammatikalisches Element). Ist der Wortlaut der Bestimmung klar, d. h. eindeutig und unmissverständlich, darf davon nur abgewichen werden, wenn ein triftiger Grund für die Annahme besteht, der Wortlaut ziele am "wahren Sinn" der Regelung vorbei. Anlass für eine solche Annahme können die Entstehungsgeschichte der Bestimmung (historisches Element), ihr Zweck (teleologisches Element) oder der Zusammenhang mit andern Vorschriften (systematisches Element) geben (zum Ganzen: <ref-ruling> E. 5; <ref-ruling> E. 5.1; je mit Hinweisen).
2.3. Im Vorentwurf und im erläuternden Bericht zur Änderung der Strafprozessordnung vom Dezember 2017 war vorgesehen, dass gemäss Art. 364b Abs. 2 VE-StPO die Anordnung der Sicherheitshaft bei der Verfahrensleitung der Beschwerdeinstanz zu beantragen sei (vgl. Erläuternder Bericht zur Änderung der Strafprozessordnung, Dezember 2017, Ziff. 2.1.33, S. 34 und Ziff. 2.1.56, S. 48). Dies analog zu <ref-law>, der ebenfalls hätte geändert werden sollen. Dadurch hätte bei der Anordnung der Sicherheitshaft vor dem Berufungsgericht gemäss <ref-law> neu eine Trennung zwischen der Haft- und Sachrichterfunktion stattgefunden. Der Entwurf 1 der StPO Revision sieht die vorgeschlagene Trennung, welche in der Vernehmlassung von der Mehrheit der Vernehmlassungsteilnehmenden kritisiert wurde, allerdings nicht mehr vor (vgl. Entwurf der Strafprozessordnung [BBl 2019 6789]; Zusammenfassung der Ergebnisse des Vernehmlassungsverfahrens über den Bericht und den Vorentwurf zur Änderung der Strafprozessordnung, August 2019, Ziff. 1.27, S. 15). In der Botschaft vom 28. August 2019 zur Änderung der Strafprozessordnung (BBI 2019 6697 f.) wird dargelegt, dass der Entwurf von einer Änderung absehe, da auch das Bundesgericht die Personalunion von Haft- und Sachrichterfunktion nie beanstandet habe und die Praxistauglichkeit des geltenden Rechts nicht in Frage stehe (BBl 2019 6719).
2.4. Anders stellt sich die Situation demgegenüber in Bezug auf den neu in Kraft getretenen <ref-law> dar. Die gemäss Abs. 1 zuständige Verfahrensleitung hat zwar gemäss dem klaren Wortlaut nunmehr auch der Verfahrensleitung des Berufungsgerichts die Anordnung der Sicherheitshaft zu beantragen und nicht mehr, wie noch im Vorentwurf vorgesehen, der Verfahrensleitung der Beschwerdeinstanz. Durch diese Änderung findet indes im selbständigen nachträglichen Verfahren - jedenfalls zurzeit noch - eine Trennung zwischen Haft- und Sachrichter statt. Denn gemäss der ständigen bundesgerichtlichen Rechtsprechung ist gegen selbständige nachträgliche Entscheide die Beschwerde, nicht aber die Berufung möglich (<ref-ruling> E. 3.8 und 4.7).
Diese Rechtsprechung wird von der Lehre kritisiert. Zur Begründung wird insbesondere vorgebracht, es sei nicht einzusehen, weshalb gegen eine erstinstanzliche Massnahme, z. B. die Verwahrung, eine Berufung möglich sein solle, während gegen die Anordnung derselben Massnahme im Rahmen eines selbständigen nachträglichen Entscheids nur die Beschwerde zulässig sei. Ausserdem werde die Beschwerde der inhaltlichen Tragweite eines grossen Teils der nachträglichen Entscheide nicht gerecht und schränke die Verfahrensrechte der betroffenen Personen in unerwünschter Weise ein.
Im Rahmen der StPO Revision ist daher vorgesehen, einen neuen Abs. 3 zu <ref-law> einzuführen. Dieser soll wie folgt lauten: "Der Entscheid des Gerichts kann mit Berufung angefochten werden" (vgl. BBI 2019 6767). Die Einführung dieses Absatzes bzw. des neuen Rechtsmittels statt der bisherigen reinen Beschwerdemöglichkeit würde allerdings dazu führen, dass die durch <ref-law> geschaffene Trennung zwischen Haft- und Sachrichter aufgehoben würde. Hinweise, dass zukünftig auf diese Trennung verzichtet werden soll, lassen sich den Materialien jedoch nicht entnehmen (anders bei <ref-law>, vgl. E. 2.3 hiervor). Weiter ist zu beachten, dass der Entwurf 1 der StPO Revision, welcher die genannte Einführung des Abs. 3 von <ref-law> beinhaltet, zurzeit vom Ständerat beraten wird und noch nicht verabschiedet ist (vgl. Medienmitteilung der Kommission für Rechtsfragen des Ständerates vom 21. Mai 2021).
Nach dem Gesagten sind jedenfalls keine triftigen Gründe für die Annahme ersichtlich, der Text von <ref-law> gebe nicht den wahren Sinn und Zweck der Bestimmung, nämlich die Trennung der Haft- und Sachrichterfunktion, wieder. Es besteht daher kein Anlass, vom klaren Wortlaut von <ref-law> abzuweichen. Folglich ist die Anordnung bzw. Verlängerung der vollzugsrechtlichen Sicherheitshaft bei der Verfahrensleitung des Berufungsgerichts zu beantragen.
3.
3.1. Im vorliegenden Fall ist nicht direkt ersichtlich, in welcher Funktion Christian Hoenen tatsächlich entschieden hat. Der Verfügung vom 28. April 2021 kann, ebenso wie bereits jener vom 13. April 2021 (vgl. Urteil 1B_236/2021 E. 3.2), einzig entnommen werden, dass Christian Hoenen das Einzelgericht des Appellationsgerichts präsidiert hat. Indes bestreitet die Vorinstanz im Verfahren vor dem Bundesgericht nicht, dass sie die Verfügung, wie vom Beschwerdeführer behauptet, als Beschwerdeinstanz erlassen hat. Dafür sprechen denn auch diverse weitere Umstände. So ist aktenkundig, dass Christian Hoenen den Vorsitz in der Hauptsache betreffend die im kantonalen Beschwerdeverfahren zu behandelnde Verlängerung der stationären Massnahme hatte (vgl. den Entscheid des Appellationsgerichts des Kantons Basel-Stadt, Dreiergericht, vom 19. April 2021). Da zudem ausser Frage steht, dass Christian Hoenen nicht gleichzeitig die Beschwerdekammer und das Berufungsgericht präsidiert, lässt keinen anderen Schluss zu, als dass Christian Hoenen tatsächlich in der Funktion als Verfahrensleiter der Beschwerdekammer und nicht als Verfahrensleiter des Berufungsgerichts entschieden hat. Dies widerspricht dem klaren Wortlaut von <ref-law>, womit eine Verletzung von Bundesrecht vorliegt.
3.2. Entgegen der Auffassung des Beschwerdeführers führt dies jedoch nicht zu seiner Entlassung aus der vollzugsrechtlichen Sicherheitshaft (vgl. Urteil 6B_1432/2017 vom 15. Januar 2018 E. 1.7). Ein Anspruch auf Haftentlassung könnte nur dann angenommen werden, wenn die Voraussetzungen der Haft nicht erfüllt wären, insbesondere kein Haftgrund vorläge (vgl. <ref-ruling> E. 2.2).
Mit dem vorliegend zur Diskussion stehenden Haftgrund der Wiederholungsgefahr hat sich das Bundesgericht in den den Beschwerdeführer betreffenden Urteilen 1B_96/2021 vom 25. März 2021 E. 4 sowie 1B_236/2021 vom 1. Juni 2021 E. 4 bereits ausführlich auseinandergesetzt. Darauf kann verwiesen werden. Veränderte Umstände, die an der damaligen Beurteilung bzw. Annahme des Haftgrundes der Wiederholungsgefahr etwas zu Gunsten des Beschwerdeführers ändern würden, sind vorliegend keine ersichtlich und werden vom Beschwerdeführer auch nicht substanziiert dargetan. Es bleibt damit bei der Feststellung, dass die Anordnung bzw. die Verlängerung der vollzugsrechtlichen Sicherheitshaft durch den Verfahrensleiter der Beschwerdekammer statt des Berufungsgerichts gegen <ref-law> verstösst und somit bundesrechtswidrig war.
Soweit der Beschwerdeführer allerdings eine Feststellung der "ungesetzlich und verfassungswidrig" angeordneten Sicherheitshaft seit dem 18. April 2021 verlangt, kann ihm nicht gefolgt werden. Das Bundesgericht hat mit Urteil 1B_236/2021 vom 1. Juni 2021 die Verlängerung der Sicherheitshaft bis zum 19. April 2021 als rechtmässig beurteilt. Dieser Entscheid ist rechtskräftig. Demzufolge beschränkt sich die Feststellung der aus formellen Gründen gesetzwidrig angeordneten Verlängerung der vollzugsrechtlichen Sicherheitshaft auf den Zeitpunkt ab dem 20. April 2021.
4.
Auf die Beschwerde nicht einzutreten ist schliesslich, soweit der Beschwerdeführer erneut eine Haftentschädigung verlangt. Der Betroffene kann zwar, je nach der Schwere der Gesetzwidrigkeit, ein Entschädigungsverfahren nach <ref-law>, insbesondere <ref-law>, einleiten (vgl. <ref-ruling> E. 2.4; das den Beschwerdeführer betreffende Urteil 1B_236/2021 vom 1. Juni 2021 E. 2.3; je mit Hinweisen). Es ist indes nicht Sache des Bundesgerichts, im vorliegenden Verfahren als erste Instanz über diesen Punkt zu entscheiden, zumal Entschädigungsansprüche ohnehin nicht im Haftprüfungs- und Haftbeschwerdeverfahren selber zu beurteilen sind (vgl. <ref-ruling> E. 2.5.1; Urteile 1B_111/2020 vom 31. März 2020 E. 1, nicht publ. in: <ref-ruling>; 1B_236/2021 vom 1. Juni 2021 E. 2.3; je mit Hinweisen).
5.
Die Beschwerde ist somit teilweise gutzuheissen und die Verfügung vom 28. April 2021 ist aufzuheben. Es ist festzustellen, dass die Verlängerung der vollzugsrechtlichen Sicherheitshaft seit dem 20. April 2021 formell unrechtmässig ist. Die Sache ist zum neuen Entscheid an die Verfahrensleitung des Berufungsgerichts zurückzuweisen. Im Übrigen ist die Beschwerde abzuweisen, soweit darauf einzutreten ist.
Nach dem Gesagten obsiegt der Beschwerdeführer im Wesentlichen. Es sind keine Gerichtskosten zu erheben (<ref-law>). Der Kanton Basel-Stadt hat den Beschwerdeführer für das bundesgerichtliche Verfahren angemessen zu entschädigen (Art. 68 Abs. 1 und 2 BGG). Die Parteientschädigung ist bei Gesuchen um unentgeltliche Rechtspflege praxisgemäss dem Rechtsvertreter zuzusprechen. Das Gesuch um unentgeltliche Rechtspflege ist damit gegenstandslos geworden.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird teilweise gutgeheissen und die Verfügung des Appellationsgerichts des Kantons Basel-Stadt, Einzelgericht, vom 28. April 2021 wird aufgehoben. Es wird festgestellt, dass die Verlängerung der vollzugsrechtlichen Sicherheitshaft seit dem 20. April 2021 formell unrechtmässig ist. Die Sache wird zum neuen Entscheid an die Verfahrensleitung des Berufungsgerichts zurückgewiesen.
2.
Im Übrigen wird die Beschwerde abgewiesen, soweit darauf eingetreten wird.
3.
Es werden keine Kosten erhoben.
4.
Der Kanton Basel-Stadt hat den Rechtsvertreter des Beschwerdeführers, Advokat Alain Joset, für das bundesgerichtliche Verfahren mit Fr. 2'500.-- zu entschädigen.
5.
Dieses Urteil wird dem Beschwerdeführer, dem Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt, Straf- und Massnahmenvollzug, und dem Appellationsgericht des Kantons Basel-Stadt, Einzelgericht, schriftlich mitgeteilt.
Lausanne, 15. Juli 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Sauthier