Sachverhalt:
A.
Die Staatsanwaltschaft St. Gallen führt eine Strafuntersuchung gegen A._ wegen des Verdachts des gewerbsmässigen Betrugs, der mehrfachen, qualifizierten Veruntreuung, der mehrfachen ungetreuen Geschäftsführung und weiterer Vermögensdelikte. Am 12. September 2019 wurde A._ festgenommen und wegen Fortsetzungs- und Wiederholungsgefahr in Untersuchungshaft versetzt. Diese wurde mehrmals verlängert und Beschwerden dagegen blieben erfolglos. Am 3. Juli 2020 trat A._ den vorzeitigen Strafvollzug an; dieser wird in der Strafanstalt Saxerriet vollzogen.
B.
Nachdem ein erstes Gesuch A._s um Gewährung eines begleiteten, fünfstündigen Ausgangs abgelehnt worden war, genehmigte das Sicherheits- und Justizdepartement des Kantons St. Gallen am 30. Oktober 2020 einen solchen. Zugleich wies es den Inhaftierten darauf hin, Tagesurlaube zur Beziehungspflege würden frühestens Mitte 2021 geprüft. Am 25. November 2020 wurde A._ ein weiterer, diesmal unbegleiteter Ausgang bewilligt und die Ausgangskompetenz an die Strafanstalt Saxerriet delegiert.
C.
Am 11. Dezember 2020 unterbreitete die Strafanstalt Saxerriet dem Sicherheits- und Justizdepartement den Antrag A._s um Gewährung eines Sonderurlaubs für die Dauer von 36 Stunden an Weihnachten für den Besuch bei Angehörigen. Das Amt für Justizvollzug wies dieses Gesuch am 18. Dezember 2021 ab. Auf Verlangen von A._ erliess es am 12. Januar 2021 hierzu eine formelle Verfügung; es auferlegte ihm dabei Verfahrenskosten in der Höhe von Fr. 300.--.
Mit Urteil vom 31. März 2021 wies die Anklagekammer des Kantons St. Gallen eine dagegen gerichtete Beschwerde A._s ab.
D.
Gegen den Entscheid der Anklagekammer führt A._ beim Bundesgericht Beschwerde in Strafsachen. Er beantragt hauptsächlich, es sei ihm unverzüglich Beziehungsurlaub "von mindestens 24h Stunden zu gewähren, resp. max. 32h unter Aufrechnung der seit Januar 2021 entgangenen Beziehungsurlaube". Zudem stellt er verschiedene weitere Rechtsbegehren.
Das Amt für Justizvollzug beantragt die Abweisung der Beschwerde. Die Anklagekammer des Kantons St. Gallen verzichtet unter Verweis auf den angefochtenen Entscheid auf eine Vernehmlassung.

Erwägungen:
1.
1.1. Das Bundesgericht beurteilt Beschwerden gegen Entscheide in Strafsachen (<ref-law>). Angefochten ist ein kantonal letztinstanzlicher Entscheid betreffend den Vollzug von strafprozessualer Haft (sog. "Haftvollzugsbeschwerde" nach <ref-law> i.V.m. <ref-law>; <ref-ruling> E. 1). Den Rechtsbegehren, die der Beschwerdeführer gestellt hat, lässt sich in genügender Klarheit entnehmen, dass er jedenfalls die Aufhebung des angefochtenen Entscheids wünscht sowie die Feststellung, es sei ihm der anbegehrte Urlaub zu Unrecht verweigert worden.
Der angefochtene Entscheid schliesst das gegen den Beschwerdeführer laufende Strafverfahren nicht ab. Er ist insoweit als Zwischenentscheid im Sinne von <ref-law> einzustufen. Der verweigerte Hafturlaub stellt für den Beschwerdeführer einen Eingriff in seine Grundrechte dar (Art. 10 Abs. 2, Art. 13 Abs. 1 und Art. 14 BV), der durch einen späteren Endentscheid in Strafsachen nicht behoben werden könnte. Darin ist ein nicht wiedergutzumachender Rechtsnachteil zu erblicken.
1.2. Allerdings fragt sich, ob der Beschwerdeführer weiterhin über ein aktuelles Interesse an der Beurteilung seines Rechtsmittels verfügt, ist doch der Zeitraum, für welchen er um Beziehungsurlaub nachgesucht hatte - Weihnachten 2020 -, längst verstrichen. Das Bundesgericht verzichtet lediglich ausnahmsweise auf ein derartiges Interesse, so wenn sich die aufgeworfenen Fragen unter gleichen oder ähnlichen Umständen jederzeit wieder stellen können, eine rechtzeitige Überprüfung im Einzelfall kaum je möglich wäre und die Beantwortung wegen deren grundsätzlicher Bedeutung im öffentlichen Interesse liegt (vgl. <ref-ruling> E. 1.3; Urteile 1B_549/2018 vom 12. April 2019 E. 3.4; 6B_729/2018 vom 26. September 2018 E. 1.2; jeweils mit Hinweisen). Dass hier eine solche Ausgangslage anzunehmen ist, liegt nicht auf der Hand. Die Vollzugsbehörden haben die vom Beschwerdeführer gewünschten Beziehungsurlaube nämlich nicht grundsätzlich abgelehnt, sondern vom Ablauf einer bestimmten Zeitdauer abhängig gemacht. Sie sind ausdrücklich bereit, solche Urlaube ab Mitte 2021 zu prüfen; die hier gegebene Konstellation kann sich somit nicht wiederholen.
Macht allerdings eine Person, die sich in Untersuchungshaft befindet, in nachvollziehbarer Weise unzulässige, insbesondere EMRK- und verfassungswidrige Haftbedingungen geltend, ist dies nach der mit Blick auf Art. 3 und Art. 13 EMRK entwickelten bundesgerichtlichen Rechtsprechung umgehend und unvoreingenommen abzuklären. Die betroffene Person hat Anspruch darauf, dass gegebenenfalls die Unzulässigkeit der gerügten Haftbedingungen bzw. die Verletzung ihrer Rechte festgestellt wird. Aufgrund dieses Feststellungsanspruchs bejaht das Bundesgericht bei Beschwerden gegen Entscheide, mit denen die gerügten Haftbedingungen als rechtmässig beurteilt worden sind, ein Rechtsschutzinteresse der beschwerdeführenden betroffenen Person auch dann, wenn sich diese nicht mehr in Untersuchungs- oder Sicherheitshaft befindet (vgl. <ref-ruling> E. 2.5.1; <ref-ruling> E. 2.1; <ref-ruling> E. 3.1 mit Hinweisen).
Ob die vorliegende Konstellation mit der oben umschriebenen vergleichbar ist, dem Beschwerdeführer daher ein Anspruch auf eine inhaltliche Beurteilung zustünde und folglich auf die Beschwerde einzutreten wäre, kann angesichts des Prozessausgangs allerdings offengelassen werden.
1.3. Auf die übrigen Anträge des Beschwerdeführers ist nicht einzutreten, weil sie entweder neu sind, ausserhalb des Streitgegenstands liegen und ungenügend begründet sind.
2.
Der Beschwerdeführer wirft der Vorinstanz in verschiedener Hinsicht sinngemäss eine willkürliche Sachverhaltsfeststellung vor.
2.1. Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht und zudem die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.2. Die letztgenannte Voraussetzung ist vorliegend jedenfalls nicht erfüllt. Die vom Beschwerdeführer als unzutreffend beanstandeten Feststellungen betreffen namentlich die genauen Daten seiner eigenen Eingaben und von behördlichen Schreiben. Diese Umstände sind für die rechtliche Beurteilung der Angelegenheit nicht von Belang, weshalb für das Bundesgericht kein Anlass für eine amtliche Berichtigung oder Ergänzung besteht.
3.
Der Beschwerdeführer befindet sich im vorzeitigen Strafvollzug (<ref-law>). Dieser stellt seiner Natur nach eine strafprozessuale Zwangsmassnahme auf der Schwelle zwischen Strafverfolgung und Strafvollzug dar (<ref-ruling> E. 2.6). Damit soll schon vor Erlass des rechtskräftigen Strafurteils ein Haftregime ermöglicht werden, das auf die persönliche Situation der beschuldigten Person zugeschnitten ist; ausserdem können erste Erfahrungen mit der voraussichtlich sachlich gebotenen Vollzugsform gesammelt werden (<ref-ruling> E. 2.6; <ref-ruling> E. 3a). Für eine Fortdauer der strafprozessualen Haft in den Modalitäten des vorzeitigen Strafvollzugs muss weiterhin mindestens ein besonderer Haftgrund vorliegen (<ref-ruling> E. 2.6; <ref-ruling> E. 3.2.1). Dass diese Voraussetzung erfüllt ist, ist vorliegend nicht streitig. Auch wenn sich der Beschwerdeführer gelegentlich auf die Unschuldsvermutung beruft, stellt er namentlich kein Haftentlassungsgesuch und bestreitet grundsätzlich weder den dringenden Tatverdacht noch den besonderen Haftgrund der Wiederholungsgefahr.
Nach <ref-law> tritt die beschuldigte Person mit dem Eintritt in die Vollzugsanstalt ihre Strafe an; sie untersteht von diesem Zeitpunkt an dem Vollzugsregime, wenn der Zweck der Untersuchungs- oder Sicherheitshaft dem nicht entgegensteht. Die Gefangenen im vorzeitigen Strafvollzug unterstehen somit grundsätzlich den Regeln über den Vollzug von Freiheitsstrafen gemäss <ref-law> (vgl. <ref-ruling> E. 2.5.2 mit Hinweisen). Abweichungen können sich aufgrund des Zwecks der Untersuchungs- oder Sicherheitshaft ergeben (Urteile 1B_82/2019 vom 30. Juli 2019 E. 2; 1B_146/2019 vom 20. Mai 2019 E. 2.3). Insbesondere kann nach der Rechtsprechung unter dem Gesichtspunkt des Gebots rechtsgleicher Behandlung angesichts der Verschiedenheit der tatsächlichen Voraussetzungen nicht beanstandet werden, dass Gefangene im vorläufigen Strafvollzug nicht der gleichen Urlaubsregelung wie solche im ordentlichen Strafvollzug unterstellt werden (BGE <ref-ruling> E. 3.2.1 mit Hinweis; MATTHIAS HÄRRI, in: Basler Kommentar StPO/JStPO, 2. Aufl., 2014, N. 26 zu Art. 236).
4.
4.1. Gemäss <ref-law> ist den Gefangenen zur Pflege der Beziehungen zur Aussenwelt, zur Vorbereitung ihrer Entlassung oder aus anderen Gründen in angemessenem Umfang Urlaub zu gewähren, soweit ihr Verhalten im Strafvollzug dem nicht entgegensteht und keine Gefahr besteht, dass sie fliehen oder weitere Straftaten begehen. <ref-law> enthält die Rahmenvorschrift zum Hafturlaub. Die Einzelheiten der Urlaubsgewährung richten sich nach kantonalem Recht und den für den Kanton jeweils massgebenden Konkordatsrichtlinien (Urteil 6B_619/2015 vom 18. Dezember 2015 E. 2.5). Die Vorinstanz hat sich bei ihrer Beurteilung auf die Richtlinien über die Ausgangs- und Urlaubsgewährung vom 7. April 2006 der Ostschweizer Strafvollzugskommission abgestützt (nachfolgend: Richtlinien).
4.2. Diese hier anwendbaren Richtlinien definieren allgemeine Voraussetzungen für die Gewährung von Ausgang und Urlaub (Ziff. 4.1). Dazu gehört, dass die Gefahr einer Flucht oder der Begehung weiterer Straftaten aufgrund einer Analyse des konkreten Risikos hinreichend verneint werden kann oder einer verbleibenden Gefahr durch begleitende Massnahmen oder Auflagen ausreichend begegnet werden kann (Ziff. 4.1 Bst. b/a). Sodann unterscheiden die Richtlinien zwischen Sachurlaub (Ziff. 4.5) und Beziehungsurlaub (Ziff. 4.6). Um letzteren geht es vorliegend. Dieser kann nach den Richtlinien im offenen Vollzug frühestens nach Verbüssung eines Sechstels der Strafe bewilligt werden, höchstens jedoch von 18 Monaten (Ziff. 4.6 Bst. b Ziff. 1).
<ref-law> statuiert einen Anspruch auf Urlaub in "angemessenem Umfang". Dabei handelt es sich um einen auslegungsbedürften unbestimmten Rechtsbegriff. Nach der Rechtsprechung des Bundesgerichts verfügen die kantonalen Behörden im Strafvollzug über ein weites Ermessen, also auch betreffend die Gewährung von Urlaub. Die Nichtbewilligung von Urlaub oder Ausgang muss sich allerdings auf ernsthafte und objektive Gründe stützen. Flucht- und Rückfallgefahr müssen im Einzelfall sorgfältig geprüft werden. Von einer gutachterlichen Beurteilung darf nicht ohne triftige Gründe abgewichen werden (Urteil 6B_708/2015 vom 22. Oktober 2015 E. 3.3, nicht publ. in: <ref-ruling>; Urteile 6B_1028/2014 vom 17. Juli 2015 E. 3.5; 6B_619/2015 vom 18. Dezember 2015 E. 2.5).
5.
5.1. Die Vorinstanz hat sich im Wesentlichen die Erwägungen des Sicherheits- und Justizdepartements zu eigen gemacht. Ihre Beurteilung ist im Ergebnis nicht zu beanstanden:
Die Vorinstanz hat zunächst festgehalten, dass der Beschwerdeführer dringend des gewerbsmässigen Betrugs, der mehrfachen, qualifizierten Veruntreuung, der mehrfachen ungetreuen Geschäftsführung und weiterer Vermögensdelikte verdächtigt wird. Sie hat festgehalten, er sei bereits im Jahr 2009 wegen Betrugs, mehrfacher Urkundenfälschung und mehrfacher Veruntreuung zu einer Gefängnisstrafe von 18 Monaten verurteilt worden, im Jahr 2011 sodann zu einer Zusatzstrafe von 4 Jahren und 6 Monaten wegen gewerbsmässigen Betrugs und weiterer Delikte, wobei der Deliktszeitraum von anfangs November 1998 bis Ende September 2008 gereicht habe (vgl. den in <ref-ruling> abgedruckten, den Beschwerdeführer betreffenden Sachverhalt). Des Weiteren hat die Vorinstanz erwogen, die im aktuellen Strafverfahren zu beurteilende Deliktsserie habe mutmasslich bereits rund ein Jahr nach der bedingten Entlassung des Beschwerdeführers aus dem Strafvollzug begonnen. An diesen Umständen vermag dessen Hinweis auf die für ihn geltende Unschuldsvermutung nichts zu ändern.
Schliesslich hat die Anklagekammer festgehalten, die finanziellen Verhältnisse des Beschwerdeführers seien schlecht. Er habe in den letzten fünf Jahren zweimal Privatkonkurs angemeldet, was sich negativ auf die Rückfallgefahr auswirke und es sei ernsthaft zu befürchten, dass der Beschwerdeführer wieder einschlägig delinquieren würde. Mit diesem Umstand setzt sich dieser nicht substanziiert auseinander.
5.2. Der Beschwerdeführer ist im Rahmen des jüngsten Strafverfahrens begutachtet worden. Der Sachverständige Dr. Thomas Knecht hat beim Beschwerdeführer gemäss den Feststellungen der Vorinstanz eine stark akzentuierte Persönlichkeitsstörung mit narzisstischen und diskret dissozialen Zügen festgestellt, dies bei hoher Grundintelligenz und ausgeprägter machiavellischer Intelligenz. Der ermittelte Psychopathie-Wert sei grenzwertig. Es sei von einer eher hohen Rückfallgefahr in Bezug auf die Begehung weiterer Wirtschaftsdelikte auszugehen. Dem angefochtenen Entscheid lässt sich sodann entnehmen, dass sowohl das Zwangsmassnahmengericht wie auch die Anklagekammer in ihren Haftentscheiden von einer ausserordentlich hohen Rückfallgefahr ausgegangen sind.
5.3. Angesichts der fachärztlich bestätigten Rückfallgefahr sowie der langjährigen deliktischen Tätigkeit des Beschwerdeführers, die mutmasslich bis zu seiner jüngsten Verhaftung angedauert hat, durfte die Vorinstanz trotz dessen korrektem Verhalten im Strafvollzug eine gute Legalprognose verneinen, ohne damit Bundesrecht zu verletzen. Dies gilt umso mehr, als die kantonalen Fachbehörden dem Beschwerdeführer einen Beziehungsurlaub nicht generell verwehrt, sondern eine langsamere Vorgehensweise als von ihm gewünscht für sachgerecht erachtet haben. Ihm wurde bereits zweimal ein mehrstündiger Sachurlaub gewährt - einmal begleitet und einmal unbegleitet - und nach einer Phase der Bewährung auch die Möglichkeit zu einem Beziehungsurlaub in Aussicht gestellt. Soweit ersichtlich stimmt das Vorgehen der St. Galler Behörden auch mit den zeitlichen Vorgaben der anwendbaren Richtlinien überein. Angesichts des weiten Ermessensspielraums, den das Bundesgericht den kantonalen Behörden im Bereich des Strafvollzugs einräumt, ist dieses Vorgehen nicht zu beanstanden.
Die Einwände des Beschwerdeführers ändern an dieser Einschätzung nichts. Insbesondere vermag der Umstand, dass er mit dem Inhalt des psychiatrischen Gutachtens von Dr. Knecht nicht einverstanden ist, dessen Wert als provisorische Ersteinschätzung nicht zu relativieren. Im Rahmen einer Haftvollzugsbeschwerde kann keine umfassende und abschliessende Würdigung der psychiatrischen Begutachtung erfolgen; die eingehende Beurteilung des Gutachtens hat durch das Sachgericht zu erfolgen, das auch die inhaltliche Kritik des Beschwerdeführers zu beurteilen haben wird (vgl. Urteile 1B_392/2020 vom 24. August 2020 E. 3.4; 1B_487/2017 vom 1. Dezember 2017 E. 3.8 betr. Haftbeschwerden). Im Übrigen argumentiert der Beschwerdeführer widersprüchlich, wenn er einerseits geltend macht, er befinde sich in Untersuchungshaft, weshalb die Resozialisierung nicht im Vordergrund stehe, den Behörden aber zugleich vorwirft, sie verhinderten seine Resozialisierung. Schliesslich ist unerfindlich, weshalb der im (damaligen) Zeitpunkt verweigerte Urlaub eine Disziplinarmassnahme darstellen sollte.
6.
Der Beschwerdeführer beanstandet schliesslich die ihm vom Amt für Justizvollzug auferlegten Verfahrenskosten von Fr. 300.--. Er ist der Auffassung, es hätten ihm keine Kosten auferlegt werden dürfen, weil sein Anspruch auf rechtliches Gehör verletzt worden sei und die Verfügung keine Rechtsmittelbelehrung erhalten habe. Ein Verstoss gegen seinen Gehörsanspruch liegt indessen nicht vor, denn der Beschwerdeführer hat seinen Standpunkt im Rahmen des Gesuchs, das er gestellt hat, darlegen können. Ausserdem enthielt die streitige Verfügung entgegen den Aussagen des Beschwerdeführers eine Rechtsmittelbelehrung.
Aus diesen Gründen erweist sich die Beschwerde als begründet. Sie ist abzuweisen, soweit darauf einzutreten ist.
7.
Der Beschwerdeführer stellt ein Gesuch um unentgeltliche Rechtspflege (<ref-law>). Da die Voraussetzungen erfüllt sind, kann diesem entsprochen werden. Es sind keine Gerichtskosten zu erheben.

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten werden kann.
2.
Es werden keine Gerichtskosten erhoben.
3.
Dieses Urteil wird dem Beschwerdeführer, dem Sicherheits- und Justizdepartement des Kantons St. Gallen, Straf- und Massnahmenvollzug, der Staatsanwaltschaft des Kantons St. Gallen, Kantonales Untersuchungsamt, und der Anklagekammer des Kantons St. Gallen schriftlich mitgeteilt.
Lausanne, 1. Juli 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Die Gerichtsschreiberin: Hänni