Sachverhalt:
A. X._ meldete dem Verhöramt Appenzell Ausserrhoden am 19. Februar 2011 eine Strafklage an. Diese richtete sich gegen Walter Kobler, Präsident des Kantonsgerichts Appenzell Ausserrhoden und bezog sich auf: "Gefährdung von Menschenleben, bewusste Beihilfe zur fortgesetzten Gelderpressung, Zerstörung eines Arbeitsplatzes und Ruinierung einer kleingewerblichen Existenz, zweifache Schädigung des Staates, Verdacht auf Amtsgeheimnisverletzung, Verstoss gegen die eigene Hausordnung (ZPO/AR), Verstoss gegen die Bundesverfassung und elementare Grundrechte sowie Verweigerung von Kleinkinderunterhaltsbudget".
Die Staatsanwaltschaft des Kantons Appenzell Ausserrhoden verfügte am 18. April 2011 die Nichtanhandnahme der Strafanzeige.
X._ gelangte an das Obergericht von Appenzell Ausserrhoden. Dieses wies dessen Beschwerde am 19. September 2011 ab.
B. Gegen diesen Entscheid des Obergerichts hat X._ am 19. Dezember 2011 beim Bundesgericht Appellation eingereicht. Er beantragt die Aufhebung des Obergerichtsurteils und die definitive Anhandnahme seiner Strafklage. Weiter ersucht er darum, dass das Verfahren in einem andern Kanton als in den Kantonen Appenzell Ausserrhoden oder St. Gallen durchgeführt werde.
Die Staatsanwaltschaft beantragt die Abweisung der Beschwerde. Das Obergericht hat auf Vernehmlassung verzichtet. Der Beschwerdeführer hat dem Bundesgericht am 20. Februar 2012 eine weitere Eingabe zukommen lassen.
Erwägungen:
1. 1.1 Der Entscheid des Obergerichts, mit dem die Nichtanhandnahme der Strafklage bestätigt und die Beschwerde des Beschwerdeführers abgewiesen worden ist, kann beim Bundesgericht mit Beschwerde in Strafsachen gemäss Art. 78 ff. des Bundesgerichtsgesetzes (BGG) angefochten werden. Die unzutreffende Bezeichnung des Rechtsmittels als Appellation schadet nicht. Die Beschwerdefrist von Art. 100 Abs. 1 BGG ist gewahrt.
1.2 Zur Beschwerde in Strafsachen ist gemäss Art. 81 Abs. 1 lit. b BGG legitimiert, wer ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat, insbesondere die Privatklägerschaft, wenn der angefochtene Entscheid sich auf die Beurteilung ihrer Zivilansprüche auswirken kann (Ziff. 5). Die Legitimation in der Sache selbst ist im vorliegenden Verfahren fraglich, da der Beschwerdeführer die möglichen Auswirkungen auf Zivilforderungen nicht dartut und solche kaum ersichtlich sind (vgl. BGE 137 IV 219 E. 2.4 S. 222; 137 IV 246 E. 1.3.1 S. 248). Hingegen ist der Beschwerdeführer befugt, die Verletzung von Verfahrensrechten zu rügen, die ihm als am Verfahren beteiligte Partei zustehen (vgl. BGE 136 IV 29 E. 1.9 S. 40).
1.3 Nach Art. 42 Abs. 1 BGG ist in der Begründung einer Beschwerde in gedrängter Form darzulegen, inwiefern der angefochtene Entscheid Recht verletzt. Qualifizierte Erfordernisse ergeben sich aus Art. 106 Abs. 2 BGG, soweit die Verletzung von Grundrechten oder von kantonalem Recht gerügt wird. Ob die vorliegende Beschwerde diesen Anforderungen genügt, ist im entsprechenden Sachzusammenhang zu prüfen.
2. Hintergrund der umstrittenen Strafklage bilden zwei Urteile des Kantonsgerichts Appenzell Ausserrhoden: Mit Urteil vom 30. April 2007 wurde die Ehe des Beschwerdeführers geschieden und wurden u.a. die Unterhaltsbeiträge für das gemeinsame Kind und für die Ehegattin festgelegt; mit Urteil vom 18. Mai 2009 wurde die Klage des Beschwerdeführers um Herabsetzung der Unterhaltsbeiträge an die Ehegattin abgewiesen, soweit darauf eingetreten werden konnte. In beiden Verfahren führte Kantonsgerichtspräsident Walter Kobler den Vorsitz. Der Beschwerdeführer wirft Walter Kobler vor, ihn mit diesen Urteilen im Sinne der Strafklage geschädigt zu haben.
3. Der Beschwerdeführer weist auf die "provinziellen und zu sehr überblickbaren Verhältnisse" in Trogen hin, wo das Kantonsgericht und das Obergericht in demselben Gebäude untergebracht sind und wo zudem auch die Staatsanwaltschaft ihren Sitz hat. Sinngemäss rügt er damit, dass das Obergericht nicht unvoreingenommen zu urteilen vermöge. Die Voreingenommenheit werde überdies dadurch verstärkt, dass der beschuldigte Walter Kobler im Jahre 2011 ins Obergericht gewählt worden sei.
Nach Art. 30 Abs. 1 BV hat jede Person Anspruch darauf, dass ihre Strafsache von einem unbefangenen, unvoreingenommenen und unparteiischen Richter beurteilt wird. Es soll garantiert werden, dass keine sachfremden Umstände, welche ausserhalb des Prozesses liegen, in sachwidriger Weise zugunsten oder zulasten einer Partei auf das Urteil einwirken. Art. 30 Abs. 1 BV soll zu der für einen korrekten und fairen Prozess erforderlichen Offenheit des Verfahrens im Einzelfall beitragen und damit ein gerechtes Urteil ermöglichen. Die Garantie des verfassungsmässigen Richters wird verletzt, wenn bei objektiver Betrachtung anhand aller tatsächlichen und verfahrensrechtlichen Gegebenheiten Umstände vorliegen, die den Anschein der Befangenheit oder die Gefahr der Voreingenommenheit zu begründen vermögen. Bei deren Beurteilung ist nicht auf das subjektive Empfinden einer Partei abzustellen. Angebliche Mängel in der Rechtsprechung vermögen grundsätzlich keinen Anschein der Befangenheit eines Richters zu begründen (vgl. BGE 114 Ia 50 E. 3b und 3c S. 53; 138 I 1 E. 2.2 S. 3).
Der Beschwerdeführer nimmt weder Bezug auf kantonales Recht noch auf Bundesverfassungsrecht. Er legt nicht dar, welche konkreten Umstände im vorliegenden Verfahren den Anschein der Befangenheit erwecken könnten. Es ist daher fraglich, ob in diesem Punkt auf die Beschwerde überhaupt eingetreten werden kann.
Bei objektiver Betrachtung reichen die vom Beschwerdeführer angesprochenen kleinräumigen Verhältnisse im Kanton Appenzell Ausserrhoden und in Trogen für sich allein nicht aus, um einen hinreichenden Verdacht auf Voreingenommenheit des Obergerichts zu begründen. Es ist auch nicht massgebend, dass sich die Strafklage gegen Walter Kobler richtet, der ehemals Kantonsgerichtspräsident war und heute Mitglied des Obergerichts ist. Ohne Bedeutung ist die Bezeichnung der am Verfahren beteiligten Personen und Behörden. Somit erweist sich die Rüge der Voreingenommenheit als unbegründet.
4. Der Beschwerdeführer erachtet den Entscheid der Staatsanwaltschaft vor dem Hintergrund des ganzen Verfahrens als willkürlich. Das Obergericht hat in dieser Hinsicht festgestellt, dass die Staatsanwaltschaft dem Beschwerdeführer das rechtliche Gehör verweigert habe, indes die Gehörsverweigerung im obergerichtlichen Verfahren im Lichte der Strafklage geheilt wurde. Darauf geht der Beschwerdeführer mit keinem Wort ein. Insoweit kann auch im bundesgerichtlichen Verfahren in diesem Punkte auf die Beschwerde nicht eingetreten werden.
5. Der Beschwerdeführer hält sinngemäss dafür, dass das Obergericht über den Beschwerdeantrag hinausgegangen sei und nicht lediglich die Anhandnahme der Strafklage geprüft habe, sondern unter Prüfung der Anklagepunkte den Beschuldigten freigesprochen habe.
Nach Art. 310 Abs. 1 lit. a der schweizerischen Strafprozessordnung (StPO) verfügt die Staatsanwaltschaft die Nichtanhandnahme, wenn feststeht, dass die fraglichen Straftatbestände eindeutig nicht erfüllt sind. Wird eine solche Verfügung angefochten, hat die obere gerichtliche Instanz zu prüfen, ob die fraglichen Straftatbestände in diesem Sinne nicht erfüllt sind. Diese Prüfung hat das Obergericht anhand der Strafklage vorgenommen. Sein Urteil ist somit nicht zu beanstanden.
6. In der Sache selbst geht der Beschwerdeführer auf das angefochtene Urteil nicht ein. In diesem ist sorgfältig dargelegt worden, dass die fraglichen Straftatbestände nicht erfüllt seien. An dieser Beurteilung ändert das Vorbringen nichts, dass der Beschwerdeführer schwerwiegende Vorwürfe erhoben hatte. Es liegen keine Umstände vor, die im Sinne des Grundsatzes "in dubio pro duriore" (vgl. BGE 137 IV 219 E. 7.1 und 7.2 S. 226) gegen eine Nichtanhandnahme sprechen würden.
7. Demnach ist die Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens ist der Antrag, einen andern Kanton mit der Strafsache zu betrauen, von vornherein gegenstandslos. Die bundesgerichtlichen Kosten sind dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt
3. Dieses Urteil wird dem Beschwerdeführer sowie der Staatsanwaltschaft des Kantons Appenzell Ausserrhoden und dem Obergericht von Appenzell Ausserrhoden, 1. Abteilung, schriftlich mitgeteilt.
Lausanne, 11. Juli 2012
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Steinmann