Sachverhalt: A. Die Staatsanwaltschaft des Kantons Schwyz führt gegen A._ ein Strafverfahren wegen einer Reihe von Delikten. Am 8. Mai 2015 erliess sie eine Sistierungsverfügung gemäss Art. 55a StGB in Bezug auf den Vorwurf der einfachen Körperverletzung und der Tätlichkeiten. Am gleichen Tag stellte sie das Strafverfahren betreffend einen weiteren Teil der untersuchten Delikte ein. Ebenfalls am 8. Mai 2015 erliess sie einen Strafbefehl. Darin sprach sie A._ des unbefugten Aufnehmens von Gesprächen (Art. 179ter StGB), der Verletzung des Geheim- oder Privatbereichs durch Aufnahmegeräte (Art. 179quater StGB), der Drohung (Art. 180 StGB), der Beschimpfung (Art. 177 StGB), des mehrfachen Fahrens ohne Berechtigung (Art. 95 Abs. 1 lit. a SVG) und der Verkehrsregelverletzung (Art. 90 Abs. 1 SVG) schuldig. Sie verurteilte ihn zu einer Geldstrafe von 80 Tagessätzen zu Fr. 30.-- sowie einer Busse von Fr. 1'100.--. Die ausgestandene Haft von zwei Tagen rechnete sie mit 2 Tagessätzen an die Geldstrafe an. Den Vollzug der restlichen Geldstrafe schob sie bei einer Probezeit von zwei Jahren auf. Hinsichtlich der Busse setzte sie für den Fall, dass diese schuldhaft nicht bezahlt wird, eine Ersatzfreiheitsstrafe von 25 Tagen ein. Am 29. Mai 2015 erhob A._ gegen den Strafbefehl Einsprache. Nachdem A._, der bis dahin amtlich verteidigt gewesen war, einen Wechsel der amtlichen Verteidigung beantragt hatte, verfügte die Staatsanwaltschaft am 23. Juli 2015, der amtliche Verteidiger sei ersatzlos zu entlassen. A._ erhob gegen den Widerruf der amtlichen Verteidigung Beschwerde ans Kantonsgericht Schwyz. Mit Beschluss vom 2. September 2015 wies dieses die Beschwerde ab. B. Mit Beschwerde vom 21. Oktober 2015 ans Bundesgericht beantragt A._ sinngemäss, der Beschluss des Kantonsgerichts sei aufzuheben und es sei ihm wieder eine amtliche Verteidigung zu bestellen. Das Kantonsgericht und die Staatsanwaltschaft Schwyz haben auf eine Vernehmlassung verzichtet.