Sachverhalt:
A. Zwischen dem Kantonsgericht Schwyz, insbesondere dessen Präsidenten X._, und den kantonalen Strafverfolgungsbehörden bestanden seit Längerem Spannungen. Es kam zu einer Auseinandersetzung ("Schwyzer Justizstreit"), die zunehmend eskalierte. Dabei wurden zahlreiche Strafanzeigen erstattet. Sie betrafen namentlich X._ und den vom Kantonsgericht eingesetzten ausserordentlichen Staatsanwalt Y._, welcher Indiskretionen insbesondere im Zusammenhang mit einem als geheim eingestuften Bericht, dessen Inhalt den Medien zugänglich gemacht worden war, zu untersuchen hatte.
Verschiedene in den Justizstreit verwickelte Staatsanwälte sind heute nicht mehr in der Schwyzer Strafverfolgung tätig. X._ hat sein Amt am 30. Juni 2012 beendet. Die Vizepräsidentin des Kantonsgerichts hat per Ende März 2013 demissioniert. Y._ hat sein Amt ebenfalls niedergelegt.
B. Die erste der erwähnten Strafanzeigen datiert vom 15. September 2011. Sie richtet sich gegen X._ und weitere Mitglieder des Kantonsgerichts. Zur Anzeige gebracht wurden die Tatbestände des Amtsmissbrauchs und der Amtsgeheimnisverletzung.
Am 20. September 2011 stellte die Oberstaatsanwaltschaft des Kantons Schwyz dem Regierungsrat das Gesuch, infolge Befangenheit der ordentlich angestellten Mitarbeiter der zuständigen Strafverfolgungsbehörden im Kanton Schwyz sei ein ausserordentlicher Oberstaatsanwalt einzusetzen, welcher die Strafanzeige vom 15. September 2011 prüfe und soweit erforderlich die nötigen Massnahmen ergreife. Die Oberstaatsanwaltschaft führte aus, kürzlich sei Z._ als Experte für die Untersuchung des Betriebs der Strafverfolgungsbehörden des Kantons Schwyz eingesetzt worden. Anlass dazu gegeben habe der seit Jahren schwelende Konflikt zwischen dem Kantonsgericht, insbesondere X._, einerseits und den kantonalen Strafverfolgungsbehörden, namentlich der Oberstaatsanwaltschaft und der kantonalen Staatsanwaltschaft, anderseits. Aufgrund dieser jüngsten Ereignisse ergebe sich sowohl hinsichtlich sämtlicher Mitarbeiter der Oberstaatsanwaltschaft als auch der kantonalen Staatsanwaltschaft zumindest der Anschein der Befangenheit.
Mit Beschluss vom 19. Oktober 2011 setzte der Regierungsrat für die Leitung des Vorverfahrens und gegebenenfalls die Erhebung einer Anklage und deren Vertretung vor Gericht C._ als ausserordentlichen Oberstaatsanwalt ein.
C. Am 2. Mai 2012 hiess das Verwaltungsgericht des Kantons Schwyz (Kammer III) als ausserordentliche Beschwerdekammer des Kantonsgerichts das Ausstandsbegehren der Oberstaatsanwaltschaft vom 20. September 2011 nachträglich gut. Das Verwaltungsgericht erwog, nach früherem kantonalen Recht hätten die Staatsanwälte bei Ausstandsgründen einzig an die Aufsichtbehörde zu gelangen gehabt. Nach Inkrafttreten der Eidgenössischen Strafprozessordnung am 1. Januar 2011 sei bei Ausstandsgründen nach Art. 56 lit. f StPO gemäss Art. 59 Abs. 1 lit. b StPO ein formeller Entscheid der Beschwerdeinstanz, d.h. des Kantonsgerichts, erforderlich, bevor nach § 72 Abs. 3 der Justizverordnung vom 18. November 2009 des Kantons Schwyz, in Kraft seit 1. Januar 2011 (JV; SRSZ 231.110), die Aufsichtsbehörde, d.h. gemäss § 54 Abs. 1 JV der Regierungsrat, einen Ersatz ernenne. Eine solche Aufgabenverteilung zwischen Kantonsgericht und Regierungsrat sei dem früheren kantonalen Recht fremd gewesen. Darin sei wohl die Ursache dafür zu erblicken, dass sowohl die Oberstaatsanwaltschaft bei der Einreichung des Gesuchs vom 20. September 2011 an den Regierungsrat als Aufsichtsbehörde als auch dieser bei der Ernennung von C._ das Erfordernis eines formellen Entscheids der Beschwerdeinstanz nach Art. 59 Abs. 1 lit. b StPO, d.h. eines Entscheids des Kantonsgerichts, übersehen hätten. Das Verwaltungsgericht bejahte (als ausserordentliche Beschwerdekammer des Kantonsgerichts) den Anschein der Befangenheit der Oberstaatsanwaltschaft und der kantonalen Staatsanwaltschaft und hiess das Gesuch vom 20. September 2011 deshalb gut. Die Nichtigkeit der Einsetzung von C._ durch den Regierungsrat verneinte es. Es befand, mit seinem Entscheid werde der Mangel, dass vor Einsetzung von C._ der Ausstand der Oberstaatsanwaltschaft und der kantonalen Staatsanwaltschaft nicht nach Art. 59 Abs. 1 lit. b StPO bewilligt worden sei, nachträglich geheilt. Damit bleibe es bei der vom Regierungsrat am 19. Oktober 2011 erfolgten Einsetzung von C._.
Dieser verwaltungsgerichtliche Entscheid blieb unangefochten.
D. Mit Beschlüssen vom 14. Februar 2012 und 21. März 2012 hatte der Regierungsrat auf Ersuchen der Oberstaatsanwaltschaft bzw. von C._ hin dessen Mandat als ausserordentlicher Oberstaatsanwalt auf weitere Strafanzeigen ausgedehnt. Diese betrafen teilweise wiederum X._; ebenso Y._. Zur Anzeige gebracht wurden insbesondere Amtsmissbrauch, Amtsgeheimnisverletzung, Amtsanmassung und strafbare Handlungen gegen den Geheim- und Privatbereich im Zusammenhang mit der geltend gemachten Erhebung von Telefon- und EDV-Daten der Staatsanwaltschaft durch X._ und Y._.
Am 22. Juni 2012 ersuchte der Regierungsrat das Verwaltungsgericht als ausserordentliche Beschwerdekammer des Kantonsgerichts "in Umsetzung von dessen Urteil vom 2. Mai 2012" darum, die von der Oberstaatsanwaltschaft in Bezug auf die genannten weiteren Strafanzeigen geltend gemachten Ausstandsgründe nachträglich zu genehmigen.
Mit Entscheid vom 28. Juni 2012 hiess das Verwaltungsgericht (Kammer III) als ausserordentliche Beschwerdekammer des Kantonsgerichts das Gesuch gut. Es erwog, nachdem hinsichtlich der ersten Strafanzeige vom 15. September 2011 die von der Oberstaatsanwaltschaft geltend gemachte Befangenheit der ordentlich angestellten Mitarbeiter der zuständigen kantonalen Strafverfolgungsbehörden im Entscheid vom 2. Mai 2012 nachträglich anerkannt und dieser Ausstandsgrund gutgeheissen worden sei, habe das Gleiche grundsätzlich auch für die weiteren Strafanzeigen zu gelten, welche in einem engen objektiven Zusammenhang stünden. Hinzu komme das Koordinationsgebot, wonach Konstellationen, in welchen zwischen den vorgeworfenen strafbaren Handlungen eine enge objektive Konnexität bestehe, nach der bundesgerichtlichen Rechtsprechung grundsätzlich gemeinsam zu verfolgen und zu beurteilen seien. Mit der nachträglichen Genehmigung des vorliegenden Gesuchs sei die auf den regierungsrätlichen Einsetzungsbeschlüssen vom 14. Februar und 21. März 2012 lastende Wirksamkeitshemmung beseitigt, so dass C._ seinem Auftrag nachkommen könne.
E. X._ und Y._ führen je Beschwerde in Strafsachen mit dem Antrag, der Entscheid des Verwaltungsgerichts vom 28. Juni 2012 sei nichtig zu erklären. Eventualiter sei dieser Entscheid aufzuheben und die Sache zur Beurteilung an das Kantonsgericht, allenfalls eine andere Instanz, zu überweisen.
F. Die Oberstaatsanwaltschaft hat sich vernehmen lassen mit dem Antrag, die Beschwerden abzuweisen, soweit darauf einzutreten sei. Sie hält dafür, diese seien rechtsmissbräuchlich. Die Beschwerdeführer seien zudem nicht beschwert, weshalb es an der Beschwerdelegitimation fehle.
Das Verwaltungsgericht hat Gegenbemerkungen eingereicht, ohne einen förmlichen Antrag zu stellen.
Der Regierungsrat hat sich vernehmen lassen. Er beantragt, die Beschwerden seien abzuweisen, soweit darauf einzutreten sei. Er erachtet diese ebenfalls als rechtsmissbräuchlich.
X._ hat zur Beschwerde von Y._ Stellung genommen. Er hält diese für begründet.
G. X._ und Y._ haben je eine Replik eingereicht.
Erwägungen:
1. Die beiden Beschwerden richten sich gegen den gleichen Entscheid. Sie stimmen inhaltlich im Wesentlichen überein und können mit derselben Begründung behandelt werden. Die Beschwerdeverfahren werden deshalb vereinigt.
2. 2.1 Gegen den angefochtenen Entscheid ist gemäss Art. 78 Abs. 1 BGG die Beschwerde in Strafsachen gegeben.
2.2 Wird ein Ausstandsgrund nach Art. 56 lit. f StPO geltend gemacht, so entscheidet gemäss Art. 59 Abs. 1 lit. b StPO ohne weiteres Beweisverfahren und endgültig die Beschwerdeinstanz, wenn die Staatsanwaltschaft betroffen ist. Bezeichnet dieses Gesetz einen Entscheid als endgültig, so ist nach Art. 380 StPO dagegen kein Rechtsmittel nach diesem Gesetz zulässig.
Die Beschwerde steht folglich gemäss Art. 80 BGG offen.
2.3 Beim angefochtenen Entscheid handelt es sich um einen selbständig eröffneten Zwischenentscheid über den Ausstand. Dagegen ist die Beschwerde nach Art. 92 BGG zulässig.
2.4 Das Kantonsgericht hat mit Beschluss vom 22. Juli 2010 unter Vorsitz des Beschwerdeführers X._ den Beschwerdeführer Y._ als ausserordentlichen Staatsanwalt eingesetzt. Dabei ging es um einen Teilaspekt des Justizstreits. Der Beschwerdeführer Y._ hat sein Amt in der Folge ausgeübt. Die Beschwerdeführer waren somit offenbar selber der Auffassung, die zuständigen kantonalen Strafverfolgungsbehörden seien in dieser Angelegenheit befangen. Damit kann man sich fragen, ob es nicht widersprüchlich und deshalb rechtsmissbräuchlich sei, wenn sich die Beschwerdeführer heute - nachdem sich der Justizstreit noch verstärkt hat - gegen einen Entscheid richten, der den Ausstand der zuständigen kantonalen Strafverfolgungsbehörden bewilligt.
In Bezug auf den Beschwerdeführer X._ kommt Folgendes hinzu: Der Entscheid vom 2. Mai 2012 stellt gewissermassen den Grundsatzentscheid dar, mit welchem das Verwaltungsgericht die Möglichkeit der nachträglichen Genehmigung des Ausstands anerkannt hat. Diesen Entscheid hat der Beschwerdeführer X._, der damals Partei war, nicht angefochten. Er hat das Vorgehen des Verwaltungsgerichts somit akzeptiert. Damit dürfte es ein widersprüchliches Verhalten darstellen, wenn er nun den Folgeentscheid vom 28. Juni 2012 anficht, der im Wesentlichen die gleiche Konstellation betrifft.
Wie es sich damit verhält, kann jedoch offen bleiben. Auf die Beschwerden kann jedenfalls aus folgendem Grund nicht eingetreten werden.
Wie es sich damit verhält, kann jedoch offen bleiben. Auf die Beschwerden kann jedenfalls aus folgendem Grund nicht eingetreten werden.
2.5 2.5.1 Gemäss Art. 81 Abs. 1 BGG ist zur Beschwerde berechtigt, wer, a. vor der Vorinstanz am Verfahren teilgenommen oder keine Möglichkeit zur Teilnahme erhalten hat; und b. ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat, insbesondere die beschuldigte Person (Ziff. 1).
Auch Letztere ist zur Beschwerde nur befugt, soweit sie ein Rechtsschutzinteresse nachweisen kann (BGE 133 IV 121 E. 1.1 S. 123).
2.5.2 Die Vorinstanz hat den Ausstand der Oberstaatsanwaltschaft und der kantonalen Staatsanwaltschaft bewilligt. Wie dargelegt, bestanden zwischen dem Kantonsgericht und insbesondere dem Beschwerdeführer X._ einerseits und den kantonalen Strafverfolgungsbehörden anderseits seit Jahren Spannungen, die in der Folge eskalierten. Der Beschwerdeführer X._ hat kein Rechtsschutzinteresse daran, dass eine Staatsanwaltschaft, mit der er in zunehmend unversöhnlichem Streit lag, das Strafverfahren gegen ihn führt. Der Ausstand ist für ihn vielmehr von Vorteil.
Der Beschwerdeführer Y._ ist, wie sich aus dem Bericht Z._ vom 17. April 2012 ergibt, mit dem Beschwerdeführer X._ befreundet. Der Beschwerdeführer Y._ wurde durch das Kantonsgericht unter dem Vorsitz des Beschwerdeführers X._ als ausserordentlicher Staatsanwalt eingesetzt, um Indiskretionen nachzugehen. Seine Ermittlungen richteten sich gegen die kantonale Staatsanwaltschaft (damals noch Verhöramt), wo die Indiskretionen vermutet wurden. Der vom Beschwerdeführer Y._ eingesetzte a.o. Untersuchungsrichter stellte die Strafuntersuchung mit Verfügung vom 14. Dezember 2010 ein. Diese hob der Beschwerdeführer Y._ auf und erliess am 30. September 2011 gegen den früheren Leiter des Verhöramts einen Strafbefehl wegen Amtsgeheimnisverletzung. Nachdem der Bestrafte dagegen Einsprache erhoben hatte, reichte der Beschwerdeführer Y._ Anklage beim zuständigen Bezirksgericht ein, welches diese am 25. Januar 2012 zur Ergänzung zurückwies. In seinem Schlussbericht vom 14. März 2012 erhebt der Beschwerdeführer Y._ gegen die Staatsanwaltschaft schwerste Vorwürfe. Er führt insbesondere aus, die Leiter des Verhöramtes hätten seine Abklärungen systematisch behindert, was die Oberstaatsanwaltschaft teilweise unterstützt habe. Es ergäben sich hinreichende Anhaltspunkte dafür, dass in der kantonalen Staatsanwaltschaft bzw. dem früheren Verhöramt erhebliche Arbeitszeit aufgewendet worden sei, um sachfremden Betätigungen nachzugehen, d.h. unter Verletzung des Amtsgeheimnisses Indiskretionen gegen die Gerichte zu verbreiten, Beschwerden gegen diese auszuarbeiten, Gerichtspersonen zu fichieren, Medienkampagnen anzuzetteln und die Gerichtsarbeit (erfolgreich) zu diskreditieren. Der Beschwerdeführer Y._ empfiehlt im Schlussbericht personalrechtliche Konsequenzen bei der Staatsanwaltschaft. In Anbetracht dessen hat der Beschwerdeführer Y._, der im Justizstreit der Seite des Beschwerdeführers X._ zuzurechnen ist, ebenso wenig ein Rechtsschutzinteresse daran, dass die Oberstaatsanwaltschaft und die kantonale Staatsanwaltschaft das Strafverfahren gegen ihn führen. Der Ausstand ist auch für ihn von Vorteil.
2.5.3 In der Sache geht es den Beschwerdeführern denn auch gar nicht um die Aufhebung des Ausstands der Oberstaatsanwaltschaft und der kantonalen Staatsanwaltschaft. Sie wenden sich dagegen, dass C._ das Verfahren führt und bringen vor, mit der Strafuntersuchung könnte eine kantonale Bezirksstaatsanwaltschaft betraut werden.
Gemäss § 5 Abs. 1 JV sind Untersuchungs- und Anklagebehörden: a. die Oberstaatsanwaltschaft; b. die kantonale Staatsanwaltschaft (und die hier nicht interessierende Jugendanwaltschaft); c. die Staatsanwaltschaften der Bezirke. Nach § 56 Abs. 1 JV führt die kantonale Staatsanwaltschaft die Verfahren, die in die Zuständigkeit des kantonalen Strafgerichts fallen. Gemäss § 20 lit. a JV beurteilt das kantonale Strafgericht Verbrechen. Die in dieser Bestimmung vorgesehen Ausnahmen fallen hier ausser Betracht. Gegenstand der Strafanzeigen bildet insbesondere der Tatbestand des Amtsmissbrauchs nach Art. 312 StGB. Dafür droht das Gesetz Freiheitsstrafe bis zu 5 Jahren an. Es handelt sich also um ein Verbrechen (Art. 10 Abs. 2 StGB). Damit ist die kantonale Staatsanwaltschaft zuständig, nicht eine Bezirksstaatsanwaltschaft (§ 65 Abs. 1 JV).
Die Beschwerdeführer möchten demnach, dass anstelle von C._ eine an sich unzuständige Bezirksstaatsanwaltschaft ermittelt. Damit richten sie sich gegen die Einsetzung von C._. Diese ist nicht Gegenstand des angefochtenen Entscheids. Eingesetzt hat C._ der Regierungsrat mit Beschluss vom 19. Oktober 2011. Dieser hat das Mandat in der Folge mit Beschlüssen vom 14. Februar und 21. März 2012 erweitert. Die Einsetzung einer Bezirksstaatsanwaltschaft hat der Regierungsrat im Beschluss vom 19. Oktober 2011 in der Sache abgelehnt. Er befand, als ausserordentlicher Oberstaatsanwalt kämen Mitarbeitende der anderen kantonalen Justizbehörden nicht in Betracht (E. 3.2). Die Beschlüsse des Regierungsrats sind hier nicht Anfechtungsobjekt.
Es kann sich einzig fragen, ob diese - wie die Beschwerdeführer geltend machen - nichtig seien.
2.5.4 Fehlerhafte Entscheide sind nichtig, wenn der ihnen anhaftende Mangel besonders schwer ist, wenn er offensichtlich oder zumindest leicht erkennbar ist und wenn zudem die Rechtssicherheit durch die Annahme der Nichtigkeit nicht ernsthaft gefährdet wird. Inhaltliche Mängel einer Entscheidung führen nur ausnahmsweise zur Nichtigkeit. Als Nichtigkeitsgründe fallen vorab funktionelle und sachliche Unzuständigkeit der entscheidenden Behörde sowie krasse Verfahrensfehler in Betracht. Die Nichtigkeit eines Entscheids ist von sämtlichen rechtsanwendenden Behörden jederzeit von Amtes wegen zu beachten (138 II 501 E. 3.1 S. 503 f. mit Hinweisen).
Gemäss Art. 59 Abs. 1 lit. b StPO entscheidet über ein Ausstandsgesuch in einem Fall wie hier die Beschwerdeinstanz. Braucht eine Justizbehörde wegen Ausstand oder sonstiger Verhinderung einen ausserordentlichen Ersatz, so wird gemäss § 72 Abs. 3 JV ein solcher von der Aufsichtsbehörde ernannt. Aufsichtsbehörde über die Oberstaatsanwaltschaft ist nach § 54 Abs. 1 JV der Regierungsrat. Dieser war für die Einsetzung von C._ somit zuständig. Zwar hat der Regierungsrat nicht beachtet, dass nach Inkrafttreten der Schweizerischen Strafprozessordnung im Gegensatz zum früheren kantonalen Recht vorgängig die Bewilligung des Ausstands durch die Beschwerdeinstanz erforderlich war. Dieser Mangel kann jedoch nicht als besonders schwer beurteilt werden. Die Einsetzung von C._ war lediglich verfrüht. Sie blieb bis zur Bewilligung des Ausstands in der Schwebe. Nach der zutreffenden Ansicht der Vorinstanz wurde der genannte Mangel mit ihren Entscheiden vom 2. Mai und 28. Juni 2012 nachträglich behoben. Er ist damit als geheilt anzusehen. Nichtigkeit ist zu verneinen.
2.5.5 Dies gilt erst recht für den angefochtenen Entscheid. Die Vorinstanz hat als ausserordentliche Beschwerdekammer des Kantonsgerichts entschieden. Dafür besteht in § 72 Abs. 1 JV eine gesetzliche Grundlage. Danach ergänzen oder ersetzen sich das Kantons- und das Verwaltungsgericht gegenseitig, wenn eine ordentliche Besetzung nicht möglich ist. Dass man unter den gegebenen Umständen zum Schluss gekommen ist, beim Kantonsgericht bestehe der Anschein der Befangenheit, weshalb das Verwaltungsgericht entscheiden solle, ist nachvollziehbar. Ein besonders schwerer und offensichtlicher Mangel haftet dem angefochtenen Entscheid nicht an.
2.5.6 Nach dem Gesagten ist auf die Beschwerden nicht einzutreten.
3. 3.1 Bei diesem Ausgang der Verfahren tragen die Beschwerdeführer die Kosten (Art. 66 Abs. 1 Satz 1 BGG). Parteientschädigungen sind keine zuzusprechen (Art. 68 BGG).
3.2 Mit dem vorliegenden Entscheid braucht über das Gesuch um aufschiebende Wirkung nicht mehr befunden zu werden.
3.3 Mit Eingabe vom 7. Januar 2013 beantragt die Vizepräsidentin des Kantonsgerichts, das bundesgerichtliche Urteil sei in Bezug auf ihre Person in anonymisierter Form zu publizieren bzw. in der bundesgerichtlichen Datenbank zugänglich zu machen.
Für die Langzeitarchivierung in jenen Datenbanken, die einen Öffentlichkeitsbezug aufweisen, kann dem entsprochen werden. Das bundesgerichtliche Urteil wird insoweit - auch in Bezug auf die weiteren Verfahrensbeteiligten - anonymisiert. Der Presse ist das Urteil dagegen in nicht anonymisierter Form zugänglich zu machen. Es geht um eine Angelegenheit, welche die Öffentlichkeit insbesondere im Kanton Schwyz beschäftigt. Diese hat ein berechtigtes Interesse daran zu erfahren, um wen es geht. Die Namen der Beteiligten sind aufgrund der bisherigen Medienberichterstattung ohnehin bekannt und wer welches Amt bekleidet bzw. bekleidet hat, kann dem Staatskalender entnommen werden.
Demnach erkennt das Bundesgericht:
1. Die Verfahren 1B_486/2012 und 1B_496/2012 werden vereinigt.
2. Auf die Beschwerden wird nicht eingetreten.
3. Die Gerichtskosten von je Fr. 1'500.-- werden den Beschwerdeführern auferlegt.
4. Dieses Urteil wird den Beschwerdeführern, dem Regierungsrat des Kantons Schwyz, A._, B._ sowie der Oberstaatsanwaltschaft und dem Verwaltungsgericht des Kantons Schwyz (Kammer III) schriftlich mitgeteilt.
Lausanne, 14. März 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Aemisegger
Der Gerichtsschreiber: Härri