Sachverhalt:
A.
Mit Urteil vom 12. September 2019 stellte das Regionalgericht Prättigau/Davos fest, dass A._ die Tatbestände der strafbaren Vorbereitungshandlungen zur Brandstiftung, der mehrfachen Sachbeschädigung, der mehrfachen Drohung und des Hausfriedensbruchs erfüllt habe. Er habe diese Straftaten schuldlos begangen, da er aufgrund einer psychischen Erkrankung nicht in der Lage gewesen sei, deren Unrecht einzusehen. Das Regionalgericht ordnete eine stationäre therapeutische Massnahme im Sinne von <ref-law> an. Aus seinem Urteil geht hervor, dass sich A._ am 11. Februar 2019 gewaltsam Zugang zum elterlichen Wohnhaus verschafft hatte, woraufhin sich seine Mutter und sein Bruder aufgrund früherer Erfahrungen in ein Zimmer einsperrten. A._ habe daraufhin brenn bares Material vor die Zimmertüre gelegt und einen Lappen mit Benzin getränkt. Die zwischenzeitlich informierte Polizei habe ihn festgenommen und in der Psychiatrischen Klinik B._ fürsorgerisch untergebracht.
A._ war am 21. März 2019 vom Zwangsmassnahmengericht des Kantons Graubünden in Untersuchungshaft versetzt worden und am 7. Mai 2019 hatte die Staatsanwaltschaft Graubünden sein Gesuch um vorzeitigen Massnahmenantritt bewilligt. Gegen das Urteil des Regionalgerichts erhob er am 11. Mai 2020 Berufung. Gleichentags ersuchte er das Kantonsgericht von Graubünden, ihn aus dem vorzeitigen Massnahmenvollzug zu entlassen. Mit Verfügung vom 2. Juni 2020 wies das Kantonsgericht dieses Gesuch ab.
B.
Mit Beschwerde in Strafsachen an das Bundesgericht vom 6. Juli 2020 beantragt A._, die Verfügung des Kantonsgerichts sei aufzuheben und er selbst sei aus dem vorzeitigen Massnahmenvollzug zu entlassen. Eventualiter sei eine geeignete Ersatzmassnahme anzuordnen.
Die Staatsanwaltschaft und das Kantonsgericht beantragen die Abweisung der Beschwerde, soweit darauf einzutreten sei.

Erwägungen:
1.
Angefochten ist ein kantonal letztinstanzlicher Entscheid in einer strafrechtlichen Angelegenheit. Dagegen steht die Beschwerde nach <ref-law> offen. Der Beschwerdeführer ist nach <ref-law> zur Beschwerde berechtigt. Die weiteren Sachurteilsvoraussetzungen geben zu keinen Bemerkungen Anlass. Auf die Beschwerde ist grundsätzlich einzutreten.
2.
2.1. Der Beschwerdeführer bestreitet die Tat nicht, macht jedoch geltend, das Kantonsgericht habe zu Unrecht die Wiederholungsgefahr bejaht. Von diesem Haftgrund dürfe nur zurückhaltend ausgegangen werden. Es sei zu berücksichtigen, dass er nicht vorbestraft sei und dass es im Wesentlichen um strafbare Vorbereitungshandlungen gehe. Das Kantonsgericht stütze sich auf ein psychiatrisches Gutachten, das von einer Schizophrenie mit psychotischer Störung ausgehe. Er halte dies für unzutreffend.
2.2. Sowohl bei Untersuchungs- oder Sicherheitshaft als auch bei vorzeitigem Massnahmenvollzug ist auf ein Entlassungsgesuch hin zu prüfen, ob die Haftvoraussetzungen gegeben sind (<ref-ruling> E. 1d S. 79 f.; Urteil 1B_141/2014 vom 7. Mai 2014 E. 1; je mit Hinweisen).
Gemäss <ref-law> liegt Wiederholungsgefahr vor, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ernsthaft zu befürchten ist, dass sie durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich gefährdet, nachdem sie bereits früher gleichartige Straftaten verübt hat. Nach der Rechtsprechung kann sich die Wiederholungsgefahr ausnahmsweise auch aus Vortaten ergeben, die dem Beschuldigten im hängigen Strafverfahren erst vorgeworfen werden, wenn die Freilassung des Ersttäters mit erheblichen konkreten Risiken für die öffentliche Sicherheit verbunden wäre. Erweisen sich die Risiken als untragbar hoch, kann vom Vortatenerfordernis sogar ganz abgesehen werden. Aufgrund einer systematisch-teleologischen Auslegung von <ref-law> kam das Bundesgericht zum Schluss, es habe nicht in der Absicht des Gesetzgebers gelegen, mögliche Opfer von schweren Gewaltdelikten einem derart hohen Rückfallrisiko aus zusetzen (<ref-ruling> E. 2-4 S. 15 ff.; Urteil 1B_556/2019 vom 12. Dezember 2019 E. 2.2; je mit Hinweisen). Die Verhütung weiterer schwerwiegender Delikte ist ein verfassungs- und grundrechtskonformer Massnahmenzweck: Art. 5 Ziff. 1 lit. c EMRK anerkennt ausdrücklich die Notwendigkeit, Beschuldigte im Sinne einer Spezialprävention an der Begehung schwerer strafbarer Handlungen zu hindern (<ref-ruling> E. 2.2 S. 138 mit Hinweis).
Der Haftgrund der Wiederholungsgefahr ist restriktiv zu handhaben und setzt eine ungünstige Rückfallprognose voraus (<ref-ruling> E. 2.2 S. 139 mit Hinweis). Seine Anwendung über den gesetzlichen Wortlaut hinaus auf Ersttäter muss auf Ausnahmefälle beschränkt bleiben. Nötig ist nicht nur ein hinreichender Tatverdacht, sondern es müssen erdrückende Belastungsbeweise gegen den Beschuldigten vorliegen, die einen Schuldspruch als sehr wahrscheinlich erscheinen lassen. Die ungünstige Rückfallprognose muss sich zudem auf Delikte beziehen, die "die Sicherheit anderer erheblich" gefährden. Im Vorder grund stehen dabei Delikte gegen die körperliche und sexuelle Integrität (zum Ganzen: Urteil 1B_556/2019 vom 12. Dezember 2019 E. 2.2 mit Hinweisen; zur Wiederholungsgefahr bei Vermögensdelikten siehe <ref-ruling> E. 2 S. 138 ff. und zur Publ. vorgesehenes Urteil 1B_595/2019 vom 10. Januar 2020 E. 4; je mit Hinweisen).
2.3. Das Kantonsgericht stützte sich zur Beurteilung der Rückfallgefahr im Wesentlichen auf das Gutachten der Psychiatrischen Dienste Chur vom 3. April 2019 und auf den Therapiebericht der Psychiatrischen Dienste Graubünden vom 15. Mai 2020. Die Gutachter hätten beim Beschwerdeführer eine episodisch verlaufende paranoide Schizophrenie diagnostiziert. Er habe seit 2014 deswegen mehrfach hospitalisiert werden müssen. Zudem habe eine deutliche Progression risikorelevanter Krankheitssymptome stattgefunden. Prognostisch kritisch zu sehen sei auch die zunehmende Waffenaffinität. Zusammenfassend hätten die Gutachter festgehalten, es seien fremdgefährdende Handlungen von der Art der dem Beschwerdeführer aktuell vorgeworfenen Straftaten zu erwarten. Aufgrund der Progression, die in den letzten zwei bis drei Jahren habe beobachtet werden können, und der krankheitsbedingten fehlenden Verhaltenskontrolle beim subjektiven Gefühl der Bedrohung sei auch von einem stark erhöhten Risiko für schwerwiegende Gewaltdelikte auszugehen, wobei aufgrund der Vorgeschichte besonders Personen aus dem sozialen Nahraum des Beschwerdeführers betroffen sein dürften.
2.4. Gestützt auf diese und die weiteren Ausführungen im angefochtenen Entscheid, mit denen sich der Beschwerdeführer kaum auseinandersetzt, bejahte das Kantonsgericht den Haftgrund der Wiederholungsgefahr zu Recht. Es berücksichtigte insbesondere auch den vom Beschwerdeführer hervorgehobenen Umstand, dass er nicht vorbestraft ist, mass diesem aber richtigerweise keine ausschlaggebende Bedeutung zu. Dass es am 11. Februar 2019 nicht zur Brandstiftung kam, sondern bei Vorbereitungshandlungen blieb, ist zudem ebenfalls nicht entscheidend, da es sich dabei ebenfalls um ein Verbrechen handelt (Art. 260bis Abs. 1 lit. g und Art. 10 Abs. 2 StGB). Die Ergebnisse der psychiatrischen Begutachtung und der Therapiebericht lassen zudem den Schluss zu, dass eine Freilassung mit erheblichen konkreten Risiken für die öffentliche Sicherheit verbunden wäre. Gemäss dem Gutachten ist von einem stark erhöhten Risiko für schwerwiegende Gewaltdelikte auszugehen. Weshalb der Beschwerdeführer mit der ihm gestellten Diagnose nicht einverstanden ist, legt er nicht dar (<ref-law>), weshalb darauf nicht weiter einzugehen ist.
Die Wiederholungsgefahr ist somit auch bei der erforderlichen restriktiven Handhabung zu bejahen und die betreffende Rüge des Beschwerdeführers, soweit sie überhaupt hinreichend substanziiert wurde, erweist sich als unbegründet.
3.
3.1. Der Beschwerdeführer macht weiter mit Hinweis auf <ref-ruling> geltend, das Kantonsgericht hätte Sicherheitshaft anordnen müssen. Er werde im vorsorglichen Massnahmenvollzug gegen seinen Willen medikamentös behandelt. Er verlange eine ambulante Behandlung, die im Rahmen der Sicherheitshaft ohne Weiteres zulässig und möglich wäre. Im Rahmen der Prüfung der Haftvoraussetzungen sei es unzulässig, über den Sinn einer noch zu verhängenden Massnahme zu befinden.
3.2. Zwar hat der Beschuldigte im vorzeitigen Sanktionsvollzug jederzeit die Möglichkeit, seine Freilassung zu verlangen, und ist seine Zustimmung zum vorzeitigen Vollzug in diesem Sinne widerruflich. Auf Gesuch um Entlassung hin ist zu prüfen, ob die Haftvoraussetzungen gegeben sind (<ref-ruling> E. 2.3 S. 163 f.; <ref-ruling> E. 4.1 f. S. 194; <ref-ruling> E. 1d S. 79 f.; je mit Hinweisen). Hingegen ist gemäss der bundesgerichtlichen Rechtsprechung die Zustimmung zum vorzeitigen Sanktionsvollzug insofern unwiderruflich, als der Beschuldigte nicht nach Belieben zwischen Untersuchungs- bzw. Sicherheitshaft und vorzeitigem Vollzug hin und her wechseln kann (<ref-ruling> E. 1d S. 79, 372 E. 3a S. 375; je mit Hinweisen). Dem Beschwerdeführer wurde auf sein Gesuch hin der vorzeitige Massnahmenantritt erlaubt und das Kantonsgericht verletzte deshalb kein Bundesrecht, indem es sich weigerte, nun ersatzweise die Sicherheitshaft, verbunden mit einer ambulanten Behandlung, anzuordnen. Im Übrigen ist nicht ersichtlich und wird vom Beschwerdeführer auch nicht substanziiert geltend gemacht, dass der mit dem vorzeitigen Sanktionsvollzug verbundene Freiheitsentzug in anderer Hinsicht unverhältnismässig wäre. Die Kritik am angefochtenen Entscheid ist somit auch in dieser Hinsicht unbegründet.
4.
Die Beschwerde ist aus diesen Erwägungen abzuweisen, soweit darauf einzutreten ist.
Bei diesem Verfahrensausgang trägt der Beschwerdeführer die Gerichtskosten (<ref-law>). Er hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 1 f. BGG).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen, soweit darauf eingetreten wird.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Graubünden und dem Kantonsgericht von Graubünden, I. Strafkammer, schriftlich mitgeteilt.
Lausanne, 3. August 2020
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Chaix
Der Gerichtsschreiber: Dold