Sachverhalt:
A. Das Kantonsgericht Schwyz setzte mit Beschluss vom 11. August 2010 Rechtsanwalt René Räber als ausserordentlichen Staatsanwalt mit allen Befugnissen und Pflichten des Staatsanwalts im aufsichts- und strafrechtlichen Bereich ein. Ihm wurde die Untersuchung der Information der Medien über Akten einer Strafuntersuchung und einen nicht zur Veröffentlichung vorgesehenen Untersuchungsbericht im Zusammenhang mit zwei Tötungsdelikten übertragen.
Am 27. September 2010 erstattete die Rechts- und Justizkommission des Kantonsrats des Kanton Schwyz beim Bezirksamt Schwyz Strafanzeige gegen Unbekannt sowie gegen mehrere Journalisten wegen Amtsgeheimnisverletzung und Veröffentlichung geheimer Akten (Art. 320 und 293 StGB). Das Bezirksamt überwies die Strafanzeige am 5. Oktober 2010 an den ausserordentlichen Staatsanwalt. Dieser setzte mit Verfügung vom 29. Oktober 2010 Rechtsanwalt Hans Baumgartner als ausserordentlichen Untersuchungsrichter ein.
Dieser eröffnete in der Folge eine Strafuntersuchung. Am 3. Dezember 2010 befragte er den Vorsteher des damaligen Verhöramts (heute Staatsanwaltschaft des Kantons Schwyz) Georg Boller als Auskunftsperson und konfrontierte ihn mit Daten von Telefonverbindungen und elektronischen Speichermedien des Verhöramts, welche von kantonalen Servern erhoben worden waren. Der Befragte verweigerte die Aussagen zu verschiedenen Fragen und verlangte die Siegelung der erhobenen Daten, was der ausserordentliche Untersuchungsrichter ablehnte. Am 17. Dezember 2010 befragte der ausserordentliche Untersuchungsrichter in derselben Strafuntersuchung den damaligen Untersuchungsrichter (heute Staatsanwalt) Roland Meier als Auskunftsperson, der die Aussage zu zahlreichen Fragen ebenfalls verweigerte.
Mit Beschwerde an den ausserordentlichen Staatsanwalt vom 13. Dezember 2010 beantragte Georg Boller die Versiegelung sämtlicher erhobener elektronischer Dateien, E-mails und Telefondaten. Zudem verlangte er den Ausstand des ausserordentlichen Staatsanwalts.
Mit Beschwerde vom 27. Dezember 2010 stellte Roland Meier den Antrag, die erhobenen elektronischen Dateien, E-mails und Telefondaten seien aus den Akten zu entfernen. Auch er verlangte den Ausstand des ausserordentlichen Staatsanwalts.
Der ausserordentliche Staatsanwalt überwies die beiden Ausstandsbegehren an das Kantonsgericht Schwyz, das die Begehren mit Beschluss vom 17. Januar 2011 abwies, soweit es darauf eintrat.
B. Mit Beschwerden in Strafsachen vom 18. und 21. Februar 2011 beantragen sowohl Georg Boller als auch Roland Meier, der Beschluss des Kantonsgerichts vom 17. Januar 2011 sei aufzuheben und dem Ausstandsgesuch gegen den ausserordentlichen Staatsanwalt sei zu entsprechen. Roland Meier verlangt zudem den Ausstand der Vizepräsidentin des Kantonsgerichts Alice Reichmuth Pfammatter, welche am 11. August 2010 unter Missachtung von Ausstandsgründen an der Einsetzung des ausserordentlichen Staatsanwalts mitgewirkt habe.
C. Das Kantonsgericht und der ausserordentliche Staatsanwalt beantragen, auf die Beschwerden sei nicht einzutreten, eventuell seien sie abzuweisen. Die Beschwerdeführer halten in weiteren Eingaben an ihren Standpunkten fest.

Erwägungen:
1. Beide Beschwerden richten sich gegen den Entscheid des Kantonsgerichts vom 17. Januar 2011 und enthalten teilweise identische Begründungen und Anträge, weshalb sich die Vereinigung in einem Verfahren rechtfertigt.
2. Beim angefochtenen Entscheid handelt es sich um einen selbstständig eröffneten, kantonal letztinstanzlichen Zwischenentscheid über den Ausstand des ausserordentlichen Staatsanwalts in einer Strafuntersuchung (<ref-law>). Gegen diesen Entscheid ist die Beschwerde in Strafsachen zulässig (<ref-law>).
2.1 Der angefochtene Entscheid hat lediglich den Ausstand des ausserordentlichen Staatsanwalts zum Gegenstand. Soweit die Beschwerdeführer über diesen Streitgegenstand hinausgehende Rügen erheben, kann auf die Beschwerden nicht eingetreten werden.
2.2 Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen (<ref-law>). Es stellt sich die Frage, ob die Voraussetzungen nach <ref-law> erfüllt sind. Danach ist zur Beschwerde befugt, wer ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat. Zu den Beschwerdeberechtigten gehören unter anderen die beschuldigte Person, ihre gesetzliche Vertretung und die Staatsanwaltschaft (Art. 81 Abs. 1 lit. b Ziff. 1-3 BGG).
Die Beschwerdeführer wurden im bisherigen Verfahren lediglich als Auskunftspersonen befragt und haben von ihrem Aussageverweigerungsrecht Gebrauch gemacht. Eine Strafuntersuchung gegen sie wurde nicht eröffnet, und es wird auch nicht behauptet, es liege ein Tatverdacht gegen sie vor. Somit ist nicht ersichtlich, inwiefern der Verzicht auf den Ausstand des ausserordentlichen Staatsanwalts sie in ihren rechtlich geschützten Interessen beeinträchtigt. Sie rügen in ihren Beschwerden zahlreiche Verfassungsverstösse und Rechtsmängel, welche einen Einfluss auf die materielle Beurteilung der Strafuntersuchung haben können. Aus diesen Beanstandungen ergibt sich jedoch kein Hinweis, dass sie als Auskunftspersonen durch die vorinstanzliche Beurteilung der Ausstandsfrage in eigenen rechtlich geschützten Interessen betroffen wären. Dies gilt auch soweit die Beschwerdeführer eine formelle Rechtsverweigerung behaupten, da auch eine solche Rüge eine Parteistellung im Strafverfahren voraussetzt (<ref-ruling> E. 6.2 S. 198; Urteil des Bundesgerichts 6B_380/2007 vom 13. November 2007 E. 2.1; je mit Hinweisen). Diese liegt hier wie erwähnt nicht vor. Die Legitimation der Beschwerdeführer ist somit zu verneinen, weshalb auf die Beschwerden nicht eingetreten werden kann.
3. Bei diesem Ausgang sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern aufzuerlegen (<ref-law>). Es sind keine Parteientschädigungen zuzusprechen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die beiden Beschwerdeverfahren werden vereinigt.
2. Auf die Beschwerden wird nicht eingetreten.
3. Die Beschwerdeführer haben Gerichtskosten von je Fr. 1'500.-- zu bezahlen.
4. Dieses Urteil wird den Beschwerdeführern, René Räber und dem Kantonsgericht Schwyz, 2. Rekurskammer, schriftlich mitgeteilt.
Lausanne, 21. April 2011
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Aemisegger Haag