Sachverhalt:
A.
Die Staatsanwaltschaft des Kantons Schwyz eröffnete am 29. November 2020 eine Strafuntersuchung gegen A._. Der Einzelrichter am Zwangsmassnahmengericht ordnete gegen A._ am 1. Dezember 2020 Untersuchungshaft an und wies am 31. Dezember 2020 ein Haftentlassungsgesuch von diesem ab. Mit Verfügung vom 3. März 2021 verlängerte der Einzelrichter am Zwangsmassnahmengericht die Untersuchungshaft bis zum 27. April 2021. A._ erhob gegen die Verfügung vom 3. März 2021 Beschwerde mit dem Antrag, er sei umgehend freizulassen. Das Kantonsgericht Schwyz wies die Beschwerde am 19. April 2021 ab.
B.
Die Staatsanwaltschaft erhob am 21. April 2021 Anklage gegen A._ und beantragte beim Zwangsmassnahmengericht die Anordnung von Sicherheitshaft gegen diesen. Mit Verfügung vom 28. April 2021 ordnete der Einzelrichter am Zwangsmassnahmengericht vorläufig bis zum 21. Juni 2021 Sicherheitshaft an.
C.
Am 14. Mai 2021 hat A._ gegen den Beschluss des Kantonsgerichts vom 19. April 2021 Beschwerde an das Bundesgericht erhoben. Er beantragt, der angefochtene Beschluss sei aufzuheben und er aus der Haft zu entlassen. Die Staatsanwaltschaft und die Vorinstanz haben auf Vernehmlassung verzichtet.

Erwägungen:
1.
Angefochten ist der Beschluss vom 19. April 2021, mit dem die Vorinstanz die Verlängerung der Untersuchungshaft des Beschwerdeführers bestätigt hat. Dagegen steht grundsätzlich die Beschwerde in Strafsachen an das Bundesgericht offen (vgl. Art. 78 Abs. 1, Art. 80 Abs. 1 und 2 und <ref-law>). Der Beschwerdeführer ist nach <ref-law> zur Beschwerde berechtigt, zumal er sich nach wie vor in strafprozessualer Haft befindet. Da auch die übrigen Sachurteilsvoraussetzungen erfüllt sind, ist auf die Beschwerde einzutreten.
2.
Der angefochtene Entscheid betrifft Zwangsmassnahmen im Sinne von <ref-law>. Die Auslegung und die Anwendung der in der StPO geregelten Voraussetzungen für Grundrechtsbeschränkungen prüft das Bundesgericht mit freier Kognition (<ref-law>). Die nach <ref-law> vorgeschriebene Beschränkung der Rügegründe ist auf strafprozessuale Zwangsmassnahmen nicht anwendbar (<ref-ruling> E. 2.4 S. 346 mit Hinweisen).
3.
Untersuchungshaft ist zulässig, wenn die beschuldigte Person eines Verbrechens oder Vergehens dringend verdächtig ist und ausserdem Flucht-, Kollusions- oder Wiederholungsgefahr vorliegt (<ref-law>). Weiter ist sie zulässig, wenn ernsthaft zu befürchten ist, eine Person werde ihre Drohung, ein schweres Verbrechen auszuführen, wahr machen (<ref-law>). Das zuständige Gericht ordnet an Stelle der Untersuchungshaft eine oder mehrere mildere Massnahmen an, wenn sie den gleichen Zweck wie die Haft erfüllen (<ref-law>). Als freiheitsentziehende Zwangsmassnahme ist die Untersuchungshaft aufzuheben, sobald ihre Voraussetzungen nicht mehr erfüllt sind, die von der StPO vorgesehene oder von einem Gericht bewilligte Dauer abgelaufen ist oder Ersatzmassnahmen zum gleichen Ziel führen (<ref-law>). Untersuchungs- und Sicherheitshaft dürfen nicht länger dauern als die zu erwartende Freiheitsstrafe (<ref-law>).
4.
Die Vorinstanz erachtete im angefochtenen Beschluss einen dringenden Tatverdacht, den Haftgrund der Wiederholungsgefahr sowie die Verhältnismässigkeit der Untersuchungshaft als gegeben. Dass daneben Untersuchungshaft auch wegen Ausführungsgefahr im Sinne von <ref-law> zulässig sei, könne nicht ohne weiteres bejaht, jedoch offen gelassen werden.
Dem Beschwerdeführer wird unter anderem vorgeworfen, zwischen dem 25. September 2018 bis zum 18. November 2020 verschiedenen Personen, insbesondere Mitgliedern und Mitarbeitern diverser (kantonaler und kommunaler Behörden, verbal und schriftlich mit schweren Gewalttaten gegen Leib und Leben gedroht zu haben. Die Vorinstanz kam zum Schluss, es bestehe ein dringender Tatverdacht, dass der Beschwerdeführer namentlich bezeichnete Behördenmitglieder und Beamte ernsthaft mit Delikten gegen Leib und Leben bedroht und sie in strafbarer Weise unter psychischen Druck gesetzt haben könnte. Ausser dem Straftatbestand der Schreckung der Bevölkerung (<ref-law>) kämen weitere Straftatbestände in Frage, etwa Drohung (<ref-law>), Nötigung (<ref-law>) und Gewalt und Drohung gegen Beamte (<ref-law>).
Der Beschwerdeführer bestreitet in seiner Beschwerde an das Bundesgericht das Vorliegen eines dringenden Tatverdachts nicht mehr. Er bestreitet jedoch das Vorliegen von Wiederholungsgefahr und rügt in diesem Zusammenhang eine Verletzung von <ref-law>, <ref-law> und Art. 5 EMRK.
5.
5.1. Der Haftgrund der Wiederholungsgefahr setzt gemäss <ref-law> voraus, dass ernsthaft zu befürchten ist, die beschuldigte Person gefährde durch schwere Verbrechen oder Vergehen die Sicherheit anderer erheblich, nachdem sie bereits früher gleichartige Straftaten verübt hat.
Nach der Rechtsprechung kann die Anordnung von Untersuchungshaft wegen Wiederholungsgefahr dem Verfahrensziel der Beschleunigung dienen, indem verhindert wird, dass sich der Strafprozess durch immer neue Delikte kompliziert und in die Länge zieht. Auch die Wahrung des Interesses an der Verhütung weiterer schwerwiegender Delikte ist nicht verfassungs- und grundrechtswidrig. Vielmehr anerkennt Art. 5 Ziff. 1 lit. c EMRK ausdrücklich die Notwendigkeit, Beschuldigte an der Begehung strafbarer Handlungen zu hindern, somit Spezialprävention, als Haftgrund (<ref-ruling> E. 2.2 mit Hinweis).
<ref-law> ist dahin auszulegen, dass Verbrechen oder schwere Vergehen drohen müssen (<ref-ruling> E. 2.2; <ref-ruling> E. 2.3.1 und E. 2.6 mit Hinweisen). Der Haftgrund der Wiederholungsgefahr ist restriktiv zu handhaben und setzt eine ungünstige Rückfallprognose voraus (<ref-ruling> E. 2.2; <ref-ruling> E. 2.9 f.).
5.2. Erforderlich ist - unter Vorbehalt besonderer Fälle (<ref-ruling> E.4) -, dass die beschuldigte Person bereits früher gleichartige Vortaten verübt hat. Bei den in <ref-law> verlangten Vortaten muss es sich um Verbrechen oder schwere Vergehen gegen gleiche oder gleichartige Rechtsgüter gehandelt haben, wie sie im hängigen Untersuchungsverfahren massgeblich sind. Die Einstufung eines Vergehens als schwer setzt voraus, dass abstrakt eine Freiheitsstrafe angedroht ist. Bei der Beurteilung der Tatschwere sind zudem namentlich das betroffene Rechtsgut und der Kontext einzubeziehen (<ref-ruling> E. 3.1; <ref-ruling> E. 2.6). Die früher begangenen Straftaten können sich aus rechtskräftig abgeschlossenen Strafverfahren ergeben. Sie können jedoch auch Gegenstand eines noch hängigen Strafverfahrens bilden, in dem sich die Frage der Untersuchungs- und Sicherheitshaft stellt, sofern mit an Sicherheit grenzender Wahrscheinlichkeit feststeht, dass die beschuldigte Person solche Straftaten begangen hat. Der Nachweis, dass die beschuldigte Person eine Straftat verübt hat, gilt bei einem glaubhaften Geständnis oder einer erdrückenden Beweislage als erbracht (<ref-ruling> E. 3.1; <ref-ruling> E. 2.3.1 mit Hinweis).
Die gegen den Beschwerdeführer geführte Strafuntersuchung betrifft unter anderem Drohungen, welche der Beschwerdeführer gegenüber namentlich bezeichneten Behördenmitgliedern ausgesprochen hat. Der Beschwerdeführer ist insoweit einschlägig vorbestraft. Mit Strafmandat vom 24. September 2012 verurteilte ihn die Staatsanwaltschaft unter anderem wegen mehrfacher versuchter Gewalt und Drohung gegen Behörden und Beamte. Der Verurteilung liegt folgender Sachverhalt zu Grunde: Der Beschwerdeführer betrat am 2. März 2010 das Betreibungsamt der Gemeinde Lachen, wo er auf einen Betreibungsbeamten traf, welcher mit ihm einige Zustellungen vornahm. Im Verlaufe seiner Anwesenheit beschwerte sich der Beschwerdeführer in zunehmend aggressivem Ton über einen am selben Tag erfolgten Polizeibesuch, welcher durch das Betreibungsamt veranlasst worden sei. Schliesslich sagte der Beschwerdeführer, wenn das wieder geschehen werde, werde er das Gewehr mitnehmen. Nach weiteren Vorbringen, wonach zwei andere, namentlich genannte Betreibungsbeamte machen würden was sie wollten, sagte der Beschwerdeführer, wenn er noch einmal vorbei kommen müsse, werde er das Gewehr mitnehmen und die namentlich genannten Betreibungsbeamten töten. Danach begab sich der Beschwerdeführer in das Verwaltungsgebäude der Gemeinde Lachen. Beim Fürsorgeamt beschwerte er sich gegenüber einer Mitarbeiterin, dass er vom Sozial- und Fürsorgeamt finanziell nicht unterstützt werde. Mit den Worten, es werde etwas passieren, falls man weiter so mit ihm umgehen werde, verliess er das Sozial- und Fürsorgeamt und ging zum Steueramt im selben Gebäude. Das Strafmandat vom 24. September 2012 erwuchs in Rechtskraft.
Für Gewalt und Drohung gegen Behörden und Beamte (<ref-law>) droht wie auch für Drohung (<ref-law>) eine Freiheitsstrafe von bis zu drei Jahren. Mit Blick auf die abstrakte Strafandrohung, die betroffenen Rechtsgüter und den Kontext handelt es sich bei den vom Beschwerdeführer am 2. März 2010 begangenen Taten um schwere Vergehen, auch wenn er nicht für vollendete, sondern versuchte Gewalt und Drohung gegen Behörden und Beamte verurteilt wurde. Damit ist das Vortatenerfordernis erfüllt.
5.3. Bei den im Sinne von <ref-law> drohenden Delikten muss es sich nicht nur um Verbrechen oder schwere Vergehen handeln, diese müssen auch die Sicherheit anderer erheblich gefährden. Im Vordergrund stehen Delikte gegen die körperliche und sexuelle Integrität. Drohungen können die Anordnung von Untersuchungshaft ebenfalls begründen, da sie die Sicherheitslage einer Person erheblich beeinträchtigen können (BGE <ref-ruling> E. 2.7; Urteil 1B_238/2012 vom 16. Mai 2012 E. 2.4.2).
Vor seiner Inhaftierung hat der Beschwerdeführer einer Mehrzahl von Personen schwere Straftaten gegen Leib und Leben angedroht. Die Drohungen richteten sich teilweise gegen konkret benannte Personen. Der Beschwerdeführer hat die angedrohten schweren Straftaten teilweise terminiert, indem er sich dahingehend äusserte, dass die Zeit der bedrohten Personen ab dem Jahr 2021 ablaufe bzw. dass er spätestens ab dem Jahr 2021 die Jagd auf sie eröffnen werde. Wird der Beschwerdeführer aus der Haft entlassen, sind weitere schwere Drohungen und damit schwere Vergehen zu befürchten, welche geeignet sind, die Sicherheit anderer erheblich zu gefährden. Dass der Beschwerdeführer - wie er vorbringt - seine Drohungen bisher nicht wahr gemacht hat, ändert daran nichts.
5.4. Die Wiederholung eines Verbrechens oder schweren Vergehens muss im Sinne von <ref-law> ernsthaft zu befürchten sein, was anhand einer Legal- bzw. Rückfallprognose zu beurteilen ist. Die Annahme von Wiederholungsgefahr setzt eine ungünstige Rückfallprognose voraus (BGE <ref-ruling> E. 2.8 ff.). Massgebliche Kriterien bei der Beurteilung der Rückfallgefahr sind insbesondere die Häufigkeit und Intensität der untersuchten Delikte sowie die einschlägigen Vorstrafen. Bei der Bewertung sind allfällige Aggravationstendenzen, wie eine zunehmende Eskalation respektive Gewaltintensität oder eine raschere Kadenz der Taten, zu berücksichtigen. Zu würdigen sind des Weiteren die persönlichen Verhältnisse der beschuldigten Person. Je schwerer die drohenden Taten sind und je höher die Gefährdung der Sicherheit anderer ist, desto geringere Anforderungen sind an die Rückfallgefahr zu stellen (<ref-ruling> E. 3.1; <ref-ruling> E. 2.8 mit Hinweisen).
Die Vorinstanz stützte sich für die Beurteilung der Rückfallgefahr auf ein ausführliches psychiatrisches Gutachten vom 17. Februar 2021. Gemäss diesem Gutachten könne beim Beschwerdeführer eine paranoide Persönlichkeitsstörung diagnostiziert werden. Daneben lägen akzentuierte Züge einer impulsiven Persönlichkeit vor. Ausserdem bestehe der Verdacht auf eine Cannabisabhängigkeit. Die Gutachter erkennen einen direkten kausalen Zusammenhang zwischen dem psychiatrischen Störungsbild des Beschwerdeführers und den ihm vorgeworfenen Taten. Zum Rückfallrisiko äussert sich das Gutachten wie folgt:
"[Der Beschwerdeführer] weist gering ausgeprägte psychopathische Eigenschaften aus. D.h., dass sich delinquentes Verhalten nicht aus einer generellen Dissozialität und einem generellen Mangel an verankerten Normen und Werten speist. [Der Beschwerdeführer] hat bis ins fortgeschrittene Erwachsenenalter keine Gewalt- oder Sexualdelikte begangen. Es gibt auch keine Hinweise auf ausgeprägtes manipulatives oder betrügerisches Verhalten. Bei[m Beschwerdeführer] lassen sich dennoch eine Reihe von persönlichkeitsnahen Risikofaktoren identifizieren, die einen engen Zusammenhang mit dem bisherigen delinquenten Verhalten vo[m Beschwerdeführer] aufweisen. Diese Risikoeigenschaften prädisponieren auch für das Überschreiten der Handlungsschwelle. Dies gilt insbesondere dann, wenn zu den persönlichkeitsnahen Risikomerkmalen akute Risikomerkmale hinzukommen. Auch solche aktuellen Risikoeigenschaften lassen sich wie dargestellt bei[m Beschwerdeführer] identifizieren. Schliesslich gilt es zu berücksichtigen, dass bei[m Beschwerdeführer] eine gewisse progrediente Entwicklung ausgemacht werden kann. Die Anzahl der Konflikte nimmt zu und die Unangemessenheit des Verhaltens vo[m Beschwerdeführer] nimmt zu. So droht er seit 2018 wiederkehrend und setzte zuletzt Fristen, nach deren Verstreichen mit Gewalthandlungen zu rechnen sei. Besonders Erwähnung verdient in diesem Zusammenhang die geringe Ansprechbarkeit [des Beschwerdeführers] auf lnterventionen. Die Akten zeugen von vielfältigen Bemühungen seitens der Behörden, eine Deeskalation zu erreichen und ein Fallmanagement zu etablieren. lnsgesamt liegen bei[m Beschwerdeführer] verschiedene Risikomerkmale in hoher Ausprägung vor. Die Kombination dieser Merkmale führt dazu, dass das Risiko vo[m Beschwerdeführer], im bisherigen Deliktspektrum erneut in Erscheinung zu treten, deutlich über der Basisrate liegt. Das Rückfallrisiko für erneute Drohungen ist als sehr hoch einzuschätzen."
Der Beschwerdeführer macht zwar geltend, das Gutachten sei unvollständig und es mangle an Transparenz. Er führt dies aber nicht näher aus und bringt nichts vor, was die gutachterlichen Prognosen in Frage stellen würde. Die Drohungen, für welche der Beschwerdeführer im Jahr 2012 verurteilt wurde, liegen zwar relativ weit zurück. Der Beschwerdeführer weist zudem keine weiteren Vorstrafen zu gleichartigen Delikten auf. Wie sich jedoch aus den Akten der Strafuntersuchung ergibt, drohte der Beschwerdeführer in den beiden letzten Jahren vor seiner Inhaftierung mehrfach. Seine Drohungen wurden in dieser Zeit tendenziell konkreter und schwerer, indem sie sich vermehrt gegen namentlich genannte Personen richteten, die angedrohten schweren Straftaten konkreter formuliert und zuletzt teilweise auch zeitlich determiniert waren. Gestützt auf das psychiatrische Gutachten und die weiteren Umstände ist nicht zu beanstanden, dass die Vorinstanz im angefochtenen Beschluss von einer ungünstigen Rückfallprognose ausging und das Erfordernis der ernsthaft zu befürchtenden Tatwiederholung als erfüllt erachtete.
6.
Nach dem Ausgeführten ist die Beurteilung der Vorinstanz, sämtliche Erfordernisse für das Vorliegen von Wiederholungsgefahr seien gegeben, mit <ref-law> vereinbar. Inwiefern <ref-law> oder Art. 5 EMRK dem Beschwerdeführer in diesem Zusammenhang einen über <ref-law> hinausgehenden Schutz gewähren sollten, ist weder dargetan noch ersichtlich. Mit den Ausführungen der Vorinstanz, wonach die Untersuchungshaft noch verhältnismässig sei, setzt sich der Beschwerdeführer nicht auseinander, weshalb darauf nicht weiter einzugehen ist (vgl. <ref-law>). Ob fortbestehende Haft auch wegen Ausführungsgefahr im Sinne von <ref-law> gerechtfertigt wäre, ist ebenfalls nicht zu prüfen.
7.
Die Beschwerde ist abzuweisen. Bei diesem Ausgang des Verfahrens wird der Beschwerdeführer kostenpflichtig (vgl. <ref-law>).

Demnach erkennt das Bundesgericht:
1.
Die Beschwerde wird abgewiesen.
2.
Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3.
Dieses Urteil wird dem Beschwerdeführer, der Staatsanwaltschaft des Kantons Schwyz, 1. Abteilung, und dem Kantonsgericht Schwyz, Beschwerdekammer, schriftlich mitgeteilt.
Lausanne, 9. Juni 2021
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Kneubühler
Der Gerichtsschreiber: Mattle