Sachverhalt:
A. Mit Klageschrift vom 12. August 2005 klagte E._ (Kläger) beim Kantonsgericht von Appenzell Ausserrhoden gegen H._ (Beschwerdeführer). Mit Urteilsdispositiv vom 29. Juni 2010 wies das Kantonsgericht die Klage ab (Ziff. 1) und verpflichtete den Kläger, den Beschwerdeführer ausseramtlich mit Fr. 32'426.35 zu entschädigen (Ziff. 3 Abs. 1). Für den Fall der Uneinbringlichkeit sei der Rechtsvertreter des Beschwerdeführers in diesem Betrag aus der Staatskasse zu entschädigen (Ziff. 3 Abs. 2). Gemäss Ziff. 4 des Dispositivs wurde der unentgeltliche Rechtsbeistand des Klägers mit Fr. 11'745.85 entschädigt. Einzig der Rechtsbeistand des Klägers meldete die Appellation gegen das Urteil des Kantonsgerichts an, und zwar gegen Ziff. 4 des Dispositivs, weshalb nur in diesem Punkt eine Begründung erfolgte. Anlässlich dieser Begründung berichtigte das Kantonsgericht sein Urteil in Ziff. 3, indem es deren Absatz 2 (Regelung des Uneinbringlichkeitsfalls) strich. Der zweite Absatz des Textbausteins "unentgeltliche Rechtspflege" sei irrtümlich nicht gelöscht worden. Der Staat komme nicht für die Parteientschädigung des Klägers an den Beschwerdeführer auf. Es handle sich um einen offensichtlichen Redaktionsfehler, der zu berichtigen sei.
B. Gegen den am 22. Oktober 2010 versandten, teilbegründeten Entscheid reichte der Beschwerdeführer fristgemäss Beschwerde bei der Justizaufsichtskommission des Obergerichts des Kantons Appenzell Ausserrhoden ein, um die Berichtigung der Ziff. 3 des Dispositivs rückgängig zu machen. Die Justizaufsichtskommission teilte dem Beschwerdeführer mit, seine Eingabe werde als Appellationserklärung entgegengenommen und der 2. Abteilung des Obergerichts zur Beurteilung zugewiesen. Der Rechtsvertreter des Beschwerdeführers hielt indessen ausdrücklich am Rechtsmittel der Beschwerde an die Justizaufsichtskommission fest, worauf diese am 30. Mai 2011 auf die Beschwerde nicht eintrat. Da die Appellation gegeben sei, stehe die Beschwerde nicht zur Verfügung. Für den Fall, dass diese zulässig wäre, erachtete sie die Justizkommission für unbegründet.
C. Gegen diesen Entscheid erhob der Beschwerdeführer Beschwerde in Zivilsachen. Er hält im Wesentlichen sein Begehren aufrecht, das darauf abzielt, die Berichtigung rückgängig zu machen. Vernehmlassungen wurden keine eingeholt.
Erwägungen:
1. Da der erstinstanzliche Entscheid zugestellt wurde, bevor die schweizerische ZPO in Kraft getreten ist, richtete sich das kantonale Rechtsmittelverfahren noch nach dem kantonalen Prozessrecht (Art. 405 Abs. 1 ZPO). Die Anwendung kantonalen Rechts prüft das Bundesgericht, von hier nicht gegebenen Ausnahmen abgesehen, grundsätzlich nicht (Art. 95 BGG). Es kann lediglich prüfen, ob die Anwendung kantonalen Rechts im Ergebnis Bundesrecht vereitelt oder gegen das Willkürverbot (Art. 9 BV) verstösst. Willkürlich ist ein Entscheid nach konstanter Rechtsprechung nicht schon dann, wenn eine andere Lösung ebenfalls vertretbar erscheint oder gar vorzuziehen wäre. Das Bundesgericht hebt einen kantonalen Entscheid wegen Willkür vielmehr nur auf, wenn er offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft (BGE 136 I 316 E. 2.2.2 S. 318 f. mit Hinweisen).
2. Nach dem mit "Anmeldung" überschriebenen Art. 264 der Zivilprozessordnung für den Kanton Appenzell A. Rh. vom 27. April 1980 (aZPO/AR) ist die Appellation innert der gesetzlichen Frist seit Empfang des schriftlichen Dispositivs bei der Kantonsgerichtskanzlei schriftlich anzumelden. Unter dem Titel "Appellationserklärung" hält Art. 265 aZPO/AR sodann fest, die Appellation sei innert den in Art. 264 Abs. 2 lit. a und b aZPO/AR genannten Fristen, vom Empfang des begründeten Entscheides an gerechnet, bei der Obergerichtskanzlei einzureichen. Gemäss Art. 280 aZPO/AR kann wegen Rechtsverweigerung, Rechtsverzögerung sowie wegen Willkür bei der Ausübung der Zivilrechtspflege, sofern keine Appellation möglich ist oder wenn diese zu spät käme, bei der Justizaufsichtskommission Beschwerde geführt werden.
2.1 Die Vorinstanz erkannte, da der Beschwerdeführer gegen die Berichtigung hätte Appellation erheben können, sei die Beschwerde nicht zulässig. Dass in der Rechtsmittelbelehrung nicht auf die Möglichkeit, hingewiesen worden sei, gegen die Berichtigung Appellation zu erklären, ohne diese vorher anzumelden, erachtete die Vorinstanz nicht für massgeblich, zumal die Eingabe als Appellationserklärung entgegengenommen worden sei. Auf diese Zusicherung habe sich der Beschwerdeführer nach Treu und Glauben verlassen können. Es sei nicht nachvollziehbar, weshalb der Beschwerdeführer an der Beschwerde festgehalten habe.
2.2 Der Beschwerdeführer macht geltend, weil er gegen das erstinstanzliche Urteil keine Appellation angemeldet habe, sei ihm das ordentliche Rechtsmittel der Appellation nicht zur Verfügung gestanden. Der Obergerichtspräsident sei zwar bereit gewesen, die Appellation entgegen zu nehmen. Damit sei aber nicht gesagt, dass das Obergericht auf die Eingabe auch tatsächlich eingetreten wäre. Der Beschwerdeführer hätte riskiert, dass das Kollegialgericht auf die Appellation mangels vorgängiger Anmeldung nicht eintreten würde.
2.3 Die Argumentation des Beschwerdeführers ist in der Tat nicht nachvollziehbar. Aus der Entgegennahme seiner Beschwerde als Appellation könnte ihm nur ein Nachteil erwachsen, wenn auf die Beschwerde hätte eingetreten werden können, auf die Appellation dagegen nicht. Unter dieser Voraussetzung wäre durch das Gericht mit der Entgegennahme der Beschwerde als Appellation ein zulässiges Rechtsmittel in ein unzulässiges konvertiert worden. Ein durch ein derartiges Vorgehen begründeter Nichteintretensentscheid stellt eine klare Rechtsverweigerung dar. Die Gefahr, dass die Entgegennahme der Beschwerde als Appellation definitiv zu einem Nichteintretensentscheid mangels Anmeldung hätte führen können, bestand daher nicht.
2.4 Dass die Vorinstanz annimmt, bei einer Berichtigung, die materiell in die Rechtsposition des Beschwerdeführers eingreift, stehe ihm das ordentliche Rechtsmittel der Appellation zur Verfügung, ist weder unter dem Blickwinkel der Willkür noch der verfassungsrechtlichen Verfahrensgarantien zu beanstanden. Bei einer Berichtigung, die nicht zuerst im Dispositiv mitgeteilt, sondern sogleich begründet wird, auf einer vorgängigen Anmeldung der Appellation zu beharren, liefe auf überspitzten Formalismus hinaus. Da die kantonalen Behörden bereit waren, die Eingabe des Beschwerdeführers als Appellation entgegen zu nehmen, hätte sich ihre Rechtsauffassung im Ergebnis nicht zu seinem Nachteil ausgewirkt. Wenn der Beschwerdeführer davon keinen Gebrauch machte, weil er ein Verhalten der Gerichtsbehörden in Betracht zog, das er sich ohnehin nicht gefallen lassen müsste, da es zu einer Rechtsverweigerung führen würde, hat er sich die daraus entstehenden Konsequenzen selbst zuzuschreiben. Es ist im Ergebnis nicht zu beanstanden, wenn die Vorinstanz die Appellation für zulässig erachtete und deshalb auf die Beschwerde nicht eintrat. Damit kann offen bleiben, ob die vorgenommenen Abänderungen am Dispositiv im Rahmen einer Berichtigung zulässig waren.
3. Nach dem Gesagten ist die Beschwerde abzuweisen, soweit angesichts der Beschwerdebegründung, welche im Wesentlichen den Anforderungen an Rügen der Verletzung von Art. 9 BV nicht genügt (Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.2 S. 254 mit Hinweisen), überhaupt darauf einzutreten ist. Dem Ausgang des Verfahrens entsprechend wird der Beschwerdeführer kostenpflichtig.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer und dem Obergericht von Appenzell A.Rh., Justizaufsichtskommission, schriftlich mitgeteilt.
Lausanne, 27. Oktober 2011
Im Namen der I. zivilrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Die Präsidentin: Klett
Der Gerichtsschreiber: Luczak