Sachverhalt:
A. X._ erstattete mit Schreiben vom 20. September 2010 Strafanzeige gegen Hans Blum, Chef der Abteilung Betrieb und Recht der Kantonspolizei Schwyz. Er warf Hans Blum vor, in der polizeilichen Datenbank fälschlicherweise die Information verbreitet zu haben, er sei ein Betrüger. Am 4. November 2010 verfügte das Verhöramt des Kantons Schwyz die Nichteröffnung einer Strafuntersuchung. Dagegen erhob X._ Beschwerde. Mit Verfügung vom 29. Dezember 2010 wies die Staatsanwaltschaft des Kantons Schwyz die Beschwerde ab, soweit sie darauf eintrat. Zur Begründung führte sie im Wesentlichen an, X._ habe bereits am 14. September 2008 Strafanzeige gegen Hans Blum erhoben. Das in der Folge eröffnete Strafverfahren sei jedoch rechtskräftig eingestellt worden. Seither hätten sich weder neue Tatsachen oder Beweismittel noch neue erhebliche Verdachtsgründe ergeben. Auf eine gegen die Verfügung der Staatsanwaltschaft erhobene Beschwerde trat das Kantonsgericht Schwyz mit Verfügung vom 25. August 2011 nicht ein.
B. Mit Beschwerde in Strafsachen an das Bundesgericht vom 30. September 2011 beantragt X._ im Wesentlichen, die Verfügung des Kantonsgerichts und des Verhöramts seien aufzuheben und es sei eine Strafuntersuchung gegen Hans Blum durchzuführen.
Die Oberstaatsanwaltschaft des Kantons Schwyz und der Beschwerdegegner haben auf eine Vernehmlassung verzichtet. Das Kantonsgericht beantragt, auf die Beschwerde nicht einzutreten. In seiner Stellungnahme dazu hält der Beschwerdeführer an seinen Anträgen und Rechtsauffassungen fest.

Erwägungen:
1. 1.1 Mit dem angefochtenen Entscheid wird bestätigt, dass das vom Beschwerdeführer angestrebte Strafverfahren nicht anhand genommen wird. Damit ist das Verfahren abgeschlossen. Es handelt sich um einen Endentscheid einer letzten kantonalen Instanz in einer Strafsache, gegen den die Beschwerde in Strafsachen zulässig ist (Art. 78 Abs. 1, Art. 80 Abs. 1, Art. 90 BGG).
1.2 Zur Beschwerde in Strafsachen ist nach Art. 81 Abs. 1 BGG berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen hat oder keine Möglichkeit zur Teilnahme erhalten hat (lit. a) und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (lit. b). Da der angefochtene Entscheid nach dem 31. Dezember 2010 datiert, beurteilt sich die Frage des rechtlich geschützten Interesses nach der am 1. Januar 2011 in Kraft getretenen Fassung von Art. 81 Abs. 1 lit. b BGG (Art. 132 Abs. 1 BGG). In Betracht fällt vorliegend einzig Art. 81 Abs. 1 lit. b Ziff. 5 BGG. Danach wird der Privatklägerschaft ein rechtlich geschütztes Interesse zuerkannt, wenn der angefochtene Entscheid sich auf die Beurteilung ihrer Zivilansprüche auswirken kann. Dies verlangt grundsätzlich vom Privatkläger, dass er bereits adhäsionsweise Zivilforderungen geltend gemacht hat. Ausnahmsweise, bei Nichtanhandnahme oder Einstellung des Strafverfahrens, ist auf dieses Erfordernis zu verzichten, zumal von der Privatklägerschaft in diesen Fällen nicht verlangt werden kann, dass sie bereits adhäsionsweise Zivilforderungen geltend gemacht hat. Immerhin ist jedoch erforderlich, dass im Verfahren vor Bundesgericht dargelegt wird, aus welchen Gründen sich der angefochtene Entscheid inwiefern auf welche Zivilforderungen auswirken kann (<ref-ruling> E. 1.3.1 S. 247 f. mit Hinweisen). Aus den Eingaben des Beschwerdeführers im bundesgerichtlichen Verfahren geht nicht hervor, welche Zivilforderungen ihm zustehen sollen. Wenn er in seiner Replik vom 11. November 2011 behauptet, in seiner Persönlichkeit verletzt worden zu sein und deshalb Schadenersatzansprüche geltend machen zu können, so reicht dies nicht aus, zumal das Bestehen eines Schadens auch nicht offensichtlich ist. Auf die Beschwerde ist insofern nicht einzutreten.
1.3 Obwohl der Beschwerdeführer in der Sache selbst nicht legitimiert ist, kann er vor Bundesgericht geltend machen, im kantonalen Verfahren in seinen Parteirechten verletzt worden zu sein. Allerdings kann auf diesem Weg keine (indirekte) Überprüfung des Entscheids in der Hauptsache erlangt werden. Nicht einzutreten ist daher auf formelle Rügen, deren Beurteilung von der Prüfung in der Sache selbst nicht getrennt werden kann (<ref-ruling> E. 1.4 S. 222 mit Hinweisen).
Zwar macht der Beschwerdeführer auch eine Verletzung von Parteirechten geltend, indem er rügt, ihm sei kein faires Verfahren im Sinne von Art. 6 EMRK gewährt worden. Diese Verletzung leitet er jedoch ausschliesslich aus der Behauptung ab, die Vorinstanz sei fälschlicherweise von einer rechtskräftig beurteilten Angelegenheit ausgegangen. Diese Kritik kann von einer Prüfung in der Sache selbst nicht getrennt werden, weshalb auch insofern nicht auf die Beschwerde einzutreten ist.
2. Auf die Beschwerde ist nicht einzutreten. Bei diesem Ausgang trägt der Beschwerdeführer die Gerichtskosten (Art. 66 Abs. 1 BGG). Er hat keinen Anspruch auf eine Parteientschädigung (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Es wird keine Parteientschädigung zugesprochen.
4. Dieses Urteil wird den Parteien, der Oberstaatsanwaltschaft des Kantons Schwyz und dem Kantonsgericht Schwyz, Präsident der 2. Rekurskammer, schriftlich mitgeteilt.
Lausanne, 29. November 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Dold