Sachverhalt:
A.
Das Strafgericht Basel-Stadt verurteilte A._ am 21. Februar 2015 wegen versuchten Mordes zu einer Freiheitsstrafe von sechs Jahren. Der Vollzug der Strafe wurde zugunsten einer stationären Massnahme aufgeschoben. Die Höchstdauer dieser stationären Massnahme wurde am 20. Januar 2020 erreicht. Mit Beschluss vom 6. Februar 2020 verlängerte das Strafgericht die stationäre psychiatrische Behandlung um ein Jahr. Gegen diesen Beschluss erhob der Straf- und Massnahmenvollzug des Justiz- und Sicherheitsdepartements des Kantons Basel-Stadt (SMV) am 2. März 2020 Beschwerde beim Appellationsgericht des Kantons Basel-Stadt und beantragte die Verlängerung der Massnahme um zwei Jahre.
Mit Schreiben vom 8. Januar 2021 beantragte der SMV, A._ sei ab dem 20. Januar 2021 bis zum Beschwerdeentscheid in Sicherheitshaft zu versetzen. Am 19. Januar 2021 verfügte der Verfahrensleiter des Appellationsgerichts die provisorische Sicherheitshaft unter dem bisherigen Massnahmenregime und setzte eine mündliche Haftverhandlung auf den 25. Januar 2021 an. Mit Verfügung vom 25. Januar 2021 wurde über A._ bis zum rechtskräftigen Entscheid im Beschwerdeverfahren Sicherheitshaft angeordnet.
Eine von A._ dagegen erhobene Beschwerde hiess das Bundesgericht mit Urteil 1B_96/2021 vom 25. März 2021 teilweise gut. Es hob die Verfügung vom 25. Januar 2021 auf, soweit darin die Sicherheitshaft ohne Befristung angeordnet wurde. Es bewilligte die Sicherheitshaft bis zum Entscheid im kantonalen Beschwerdeverfahren, längstens aber bis zum 18. April 2021. Im Übrigen wies es die Beschwerde ab, soweit es darauf eintrat.
Mit Verfügung vom 13. April 2021 verlängerte das Appellationsgericht, Einzelgericht, die vollzugsrechtliche Sicherheitshaft um einen Tag bis zur mündlichen Hauptverhandlung im kantonalen Beschwerdeverfahren am 19. April 2021.
B.
Mit Beschwerde in Strafsachen an das Bundesgericht vom 7. Mai 2021 beantragt A._, die Verfügung des Appellationsgerichts vom 13. April 2021 sei vollumfänglich aufzuheben und er sei unverzüglich aus der vollzugsrechtlichen Sicherheitshaft zu entlassen. Es sei festzustellen, dass die gegen ihn angeordnete Sicherheitshaft seit dem 18. April 2021 ungesetzlich und verfassungswidrig sei. Eventualiter sei er unverzüglich unter Anordnung von Ersatzmassnahmen aus der Sicherheitshaft zu entlassen. Subeventualiter sei die Sache zur Durchführung eines gesetzeskonformen Haftprüfungs- resp. Haftverlängerungsverfahrens an die Vorinstanz zurückzuweisen. Weiter sei der Kanton Basel-Stadt gestützt auf Art. 5 Ziff. 5 EMRK zu verpflichten, ihm für den unrechtmässigen Freiheitsentzug seit dem 18. April 2021 eine Entschädigung in der Höhe von CHF 200.00 pro Tag ungesetzlicher Haft auszurichten.
Der SMV verzichtet auf eine Vernehmlassung. Das Appellationsgericht verzichtet ebenfalls auf eine Vernehmlassung und beantragt die Abweisung der Beschwerde.

Erwägungen:
1.
Angefochten ist die Verfügung vom 13. April 2021, mit der das Appellationsgericht die vollzugsrechtliche Sicherheitshaft des Beschwerdeführers verlängert hat. Dagegen steht grundsätzlich die Beschwerde in Strafsachen an das Bundesgericht offen (vgl. Art. 78 Abs. 1, Art. 80 Abs. 1 und 2 und <ref-law>). Der Beschwerdeführer nahm vor der Vorinstanz am Verfahren teil und befindet sich - soweit aus den Akten ersichtlich - nach wie vor in Sicherheitshaft. Er ist folglich gemäss <ref-law> zur Beschwerde berechtigt. Die übrigen Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass, so dass grundsätzlich auf die Beschwerde einzutreten ist.
2.
2.1. Der Beschwerdeführer rügt eine Verletzung seines Anspruchs auf rechtliches Gehör. Er macht geltend, er habe keine Möglichkeit erhalten, sich vor Erlass der Verfügung vom 13. April 2021 zur geplanten Verlängerung der Sicherheitshaft zu äussern. Dies obschon gemäss Art. 364b Abs. 3 i.V.m. <ref-law> der von der Verlängerung der Haft betroffenen Person in jedem Fall das rechtliche Gehör gewährt werden müsse.
2.2. Das Recht, angehört zu werden, ist formeller Natur. Seine Verletzung führt in der Regel ungeachtet der materiellen Begründetheit der Beschwerde zu deren Gutheissung und zur Aufhebung des angefochtenen Entscheids (<ref-ruling> E. 3.1 S. 304 mit Hinweisen). Es rechtfertigt sich daher, diese Rüge vorweg zu prüfen.
Gemäss <ref-law> und Art. 3 Abs. 2 lit. c sowie Art. 107 StPO haben die Parteien Anspruch auf rechtliches Gehör. Im Haftprüfungsverfahren finden <ref-law> bzw. Art. 5 Ziff. 4 EMRK Anwendung. Der Anspruch auf rechtliches Gehör dient der Sachaufklärung und garantiert den Verfahrensbeteiligten ein persönlichkeitsbezogenes Mitwirkungsrecht. Sie haben insbesondere Anspruch auf Äusserung zur Sache vor Erlass eines in ihre Rechtsstellung eingreifenden Entscheids (<ref-ruling> E. 3.1 S. 434; <ref-ruling> E. 3.4 S. 102 f.; je mit Hinweisen). Ein gültiger Haftentscheid kommt nur zustande, wenn der beschuldigten Person und der Staatsanwaltschaft vorgängig das rechtliche Gehör eingeräumt wurde (vgl. Art. 224 Abs. 1; Art. 225 Abs. 1; Art. 229 Abs. 3 und Art. 232 Abs. 1 StPO).
Der beschuldigten Person ist weiter auch bei der Fortsetzung der Untersuchungshaft Gelegenheit zu geben, schriftlich zur beantragten Verlängerung Stellung zu nehmen (<ref-law>). Ansonsten liegt ebenfalls eine Verletzung ihres Anspruchs auf rechtliches Gehör vor (vgl. Urteile 1B_189/2021 vom 12. Mai 2021 E. 2.1, 1B_574/2020 vom 3. Dezember 2020 E. 4.1; 1B_429/2019 vom 23. September 2019 E. 2.2; je mit Hinweisen). Dies gilt gemäss Art. 364b Abs. 3 i.V.m. <ref-law> auch bei der Verlängerung einer vorbestehenden vollzugsrechtlichen Sicherheitshaft wie hier.
2.3. Im vorliegenden Fall verlängerte das Appellationsgericht, Einzelgericht, mit Verfügung vom 13. April 2021 die vollzugsrechtliche Sicherheitshaft bis zum 19. April 2021. Dass der Beschwerdeführer vor dieser Verfügung Gelegenheit gehabt hätte, sich zur beabsichtigen Verlängerung der vollzugsrechtlichen Sicherheitshaft zu äussern, geht weder aus der Verfügung selber hervor noch wird dies seitens des Appellationsgerichts im Rahmen seiner Vernehmlassung vorgebracht oder ist dies ersichtlich.
Nach dem Gesagten (vgl. E. 2.2 hiervor) hätte das Appellationsgericht dem Beschwerdeführer vor der Verlängerung der Sicherheitshaft mit Verfügung vom 13. April 2021 jedoch Gelegenheit zur Stellungnahme geben müssen. Der Umstand, dass eine gewisse zeitliche Dringlichkeit bestanden haben dürfte (die Verfügung datiert vom 13. April 2021, während die Sicherheitshaft bis längstens zum 18. April 2021 angeordnet worden war), vermag daran nichts zu ändern. Die Rüge der Gehörsverletzung erweist sich daher als begründet. Die Verletzung ist hier in (teilweiser) Gutheissung der Beschwerde im Dispositiv förmlich festzustellen. Damit - und in Verbindung mit der für den Beschwerdeführer vorteilhaften Kostenregelung - wird diesem eine hinreichende Wiedergutmachung verschafft (vgl. <ref-ruling> E. 2.5.1 S. 250; <ref-ruling> E. 2.2 S. 121 f.; <ref-ruling> E. 3.2.3 S. 98; <ref-ruling> E. 2.3 S. 278; Urteil 1B_6/2019 vom 31. Januar 2019 E. 5.3; je mit Hinweisen). Eine Entlassung aus der vollzugsrechtlichen Sicherheitshaft, wie vom Beschwerdeführer beantragt, kommt hingegen nicht in Betracht (vgl. Urteil 6B_1432/2017 vom 15. Januar 2018 E. 1.7). Ein Anspruch auf Haftentlassung könnte nur dann angenommen werden, wenn die Voraussetzungen der Haft nicht erfüllt sind, insbesondere kein Haftgrund vorliegt (vgl. <ref-ruling> E. 2.2 S. 42). Dies trifft, wie nachfolgend aufzuzeigen sein wird (E. 4 hiernach), vorliegend indes nicht zu.
Der Betroffene kann überdies, je nach der Schwere der Gesetzwidrigkeit, ein Entschädigungsverfahren nach <ref-law>, insbesondere <ref-law>, einleiten (<ref-ruling> E. 2.4 S. 97; Urteil 6B_1432/2017 vom 15. Januar 2018 E. 1.7; je mit Hinweisen). Soweit der Beschwerdeführer allerdings bereits jetzt eine Entschädigung verlangt, ist auf die Beschwerde nicht einzutreten. Es ist nicht Sache des Bundesgerichts, im vorliegenden Verfahren als erste Instanz über diesen Punkt zu entscheiden, zumal Entschädigungsansprüche ohnehin nicht im Haftprüfungs- und Haftbeschwerdeverfahren selber zu beurteilen sind (vgl. <ref-ruling> E. 2.5.1 S. 250; nicht amtl. publ. E. 1 des zur BGE-Publikation bestimmten Urteils 1B_111/2020 vom 31. März 2020; Urteile 1B_204/2018 vom 15. Mai 2018 E. 4.8; 1B_270/2017 vom 28. Juli 2017 E. 7; je mit Hinweisen).
2.4. Vorliegend erscheint trotz der festgestellten Gehörsverletzung eine Rückweisung der Sache an das Appellationsgericht mit dem Zweck, dass sich der Beschwerdeführer zur mit Verfügung vom 13. April 2021 angeordneten Verlängerung der Sicherheitshaft um einen Tag äussern kann, als formalistischer Leerlauf. Dies insbesondere im Hinblick darauf, dass die im kritisierten Entscheid angeordnete Verlängerung inzwischen längst abgelaufen ist und dem Beschwerdeführer hinsichtlich der mittlerweile erneut erfolgten Verlängerung der Sicherheitshaft die Möglichkeit zur Stellungnahme gewährt wurde. Wie dem aktenkundigen Schreiben des Appellationsgerichts vom 20. April 2021 entnommen werden kann, wurde der Beschwerdeführer nunmehr aufgefordert, Stellung zur beantragten Sicherheitshaft zu nehmen. Wie den Akten entnommen werden kann, hat er mit Schreiben vom 27. April 2021 von dieser Möglichkeit Gebrauch gemacht. Im Übrigen hat der Beschwerdeführer seinen Standpunkt auch in der Beschwerde an das Bundesgericht umfassend dargetan.
Im vorliegenden Fall stellen sich sodann keine Sachverhaltsfragen, die das Bundesgericht aufgrund seiner beschränkten Kognition nicht beurteilen könnte (<ref-law>). Der Beschwerdeführer macht jedenfalls keine entscheidwesentlichen Änderungen des Sachverhalts vom letzten Urteil des Bundesgerichts vom 25. März 2021 (1B_96/2021) bis zur angefochtenen Verfügung vom 13. April 2021 geltend. Solche sind auch nicht ersichtlich. Es ist mithin von einem unverändert gebliebenen Sachverhalt auszugehen. Es rechtfertigt sich daher, insbesondere auch mit Blick auf das Beschleunigungsgebot in Haftsachen (Art. 31 Abs. 3-4 BV, <ref-law>), dass das Bundesgericht ausnahmsweise in der Sache selbst entscheidet.
3.
3.1. Der Beschwerdeführer ist der Auffassung, lic. iur. Christian Hoenen hätte als Verfahrensleiter der Beschwerdekammer nicht eigenständig die Verlängerung der vollzugsrechtlichen Sicherheitshaft anordnen dürfen. Gemäss <ref-law> hätte die Fortsetzung der Sicherheitshaft vielmehr fristgerecht bei der Verfahrensleitung des Berufungsgerichts beantragt werden müssen. Dies sei vorliegend aber offenkundig unterlassen worden. Aus diesem Grund sei die angefochtene Verfügung vom 13. April 2021 nichtig bzw. jedenfalls als klar bundesrechtswidrig zu bezeichnen und müsse aufgehoben werden.
3.2. Wie vom Beschwerdeführer vorgebracht, hält <ref-law> fest, dass die Verfahrensleitung gemäss Abs. 1 in sinngemässer Anwendung von Artikel 224 ein Haftverfahren durchführt und dem Zwangsmassnahmengericht beziehungsweise der Verfahrensleitung des Berufungsgerichts die Anordnung der Sicherheitshaft beantragt. Dass diese Anforderungen vorliegend verletzt worden sein sollen, erschliesst sich dem Bundesgericht indes nicht, zumal es die interne Gerichtsorganisation bzw. das kantonale Behördenorganisationsrecht auch nicht von Amtes wegen zu überprüfen hat (<ref-law>). Der Verfügung vom 13. April 2021 kann einzig entnommen werden, dass lic. iur. Christian Hoenen das Einzelgericht des Appellationsgerichts präsidiert hat. In welcher Funktion er dies getan, mithin als Präsident der Beschwerdekammer oder des Berufungsgerichts, ist indessen nicht ersichtlich und wird vom Beschwerdeführer auch nicht konkret aufgezeigt. Er behauptet lediglich in abstrakter Weise, Christian Hoenen habe als "instruierendes Präsidium" der Beschwerdekammer gehandelt, ohne aber seine pauschale Behauptung anhand konkreter Bestimmungen des kantonalen Behördenorganisationsrechts zu belegen. Damit kommt er seiner Substanziierungspflicht nicht nach, weshalb auf die Rüge nicht einzutreten ist (Art. 42 i.V.m. <ref-law>).
4.
4.1. Der Beschwerdeführer bestreitet weiter das Vorliegen des besonderen Haftgrunds der Fortsetzungsgefahr gemäss <ref-law> und bringt vor, die vollzugsrechtliche Sicherheitshaft sei auch nicht das mildeste Mittel, um der angeblichen Fortsetzungsgefahr zu begegnen.
4.2. Das Bundesgericht hat im den Beschwerdeführer betreffenden Urteil 1B_96/2021 vom 25. März 2021 dargelegt, weshalb bei ihm von einer Fortsetzungsgefahr auszugehen ist (E. 4.4). Darauf kann vorliegend vollumfänglich verwiesen werden. Seit der letzten bundesgerichtlichen Beurteilung sind lediglich etwas mehr als zwei Monate vergangen, zudem steht vorliegend einzig die Verlängerung der vollzugsrechtlichen Sicherheitshaft um einen Tag zur Diskussion und der Beschwerdeführer bringt nichts vor, was etwas an der damaligen Beurteilung ändern würde.
4.3. Dasselbe gilt, soweit der Beschwerdeführer erneut die Verhältnismässigkeit der Sicherheitshaft bestreitet. Auch mit dieser Frage hat sich das Bundesgericht im Urteil 1B_96/2021 vom 25. März 2021 befasst (vgl. E. 4.5). Es legte dar, dass keine milderen Ersatzmassnahmen sofort umsetzbar seien und sich die Sicherheitshaft als verhältnismässig erweise, zumal das bisherige Massnahmenregime weitergeführt werde. Diese Feststellung trifft nach wie vor zu. Die betreffende Kritik des Beschwerdeführers ist unbegründet.
5.
Inwiefern im Übrigen das Appellationsgericht das Legalitätsprinzip verletzt haben soll, ist ebenfalls nicht ersichtlich. Einzig der Umstand, dass es in seiner Verfügung vom 13. April 2021 nicht ausdrücklich auf die seit dem 1. März 2021 in Kraft getretenen <ref-law> zur vollzugsrechtlichen Sicherheitshaft verwiesen hat, stellt jedenfalls keine Verletzung des Legalitätsprinzips dar.
6.
Nach dem Gesagten ist die Beschwerde in dem Sinne teilweise gutzuheissen, als festgestellt wird, dass das Appellationsgericht, Einzelgericht, den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt hat, indem es ihm vor Erlass der Verfügung vom 13. April 2021 keine Gelegenheit zur Stellungnahme zur Verlängerung der Sicherheitshaft gegeben hat. Im Übrigen erweist sich die Beschwerde indes als unbegründet und ist abzuweisen, soweit darauf einzutreten ist.
Nach der Rechtsprechung des Bundesgerichts muss der Heilung von Verfahrensfehlern bei der Kostenregelung Rechnung getragen werden, sei es durch angemessene Reduktion der Gerichtskosten, Verzicht auf die Kostenerhebung oder indem der für die Gehörsverletzung verantwortlichen Behörde Kosten auferlegt werden (vgl. <ref-ruling> E. 2.4 S. 97; Urteil 1C_360/2017 vom 14. März 2018 E. 12 mit Hinweis). Für das vorliegende Verfahren sind mithin keine Gerichtskosten zu erheben. Zudem hat der Kanton Basel-Stadt dem anwaltlich vertretenen (zwar nur teilweise obsiegenden) Beschwerdeführer vor Bundesgericht eine Parteientschädigung von Fr. 2'500.-- (pauschal, inkl. MWST) zu entrichten (<ref-law>). Damit wird das separate Gesuch um unentgeltliche Rechtspflege hinfällig.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird in dem Sinne teilweise gutgeheissen, als festgestellt wird, dass das Appellationsgericht des Kantons Basel-Stadt, Einzelgericht, den Anspruch des Beschwerdeführers auf rechtliches Gehör verletzt hat, indem es ihm vor Erlass der Verfügung vom 13. April 2021 keine Gelegenheit zur Stellungnahme zur Verlängerung der Sicherheitshaft gegeben hat.
2.
Im Übrigen wird die Beschwerde abgewiesen, soweit darauf eingetreten wird.
3.
Der Kanton Basel-Stadt hat Advokat Alain Joset für das Verfahren vor Bundesgericht eine Parteientschädigung von Fr. 2'500.-- (pauschal, inkl. MWST) zu entrichten.
4.
Es werden keine Kosten erhoben.
5.
Dieses Urteil wird dem Beschwerdeführer, dem Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt, Straf- und Massnahmenvollzug, und dem Appellationsgericht des Kantons Basel-Stadt, Einzelgericht, schriftlich mitgeteilt.
Lausanne, 1. Juni 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Sauthier