Sachverhalt: A. Mit Strafverfügung des Verhöramts Appenzell Ausserrhoden vom 21. Juni 2007 wurde X._ wegen Gewalt und Drohung gegen Behörden und Beamte sowie wegen Missbrauchs des Telefons zu einer bedingten Geldstrafe von 30 Tagessätzen zu je Fr. 50.--, unter Ansetzung einer Probezeit von zwei Jahren, und zu einer Busse von Fr. 500.-- (ersatzweise fünf Tage Freiheitsstrafe) verurteilt. Geschädigter war in diesem Verfahren A._, Gerichtsschreiber am Verwaltungsgericht des Kantons Ausserrhoden. B. Mit Schreiben vom 28. Juni 2007 erhob X._ gegen diese Strafverfügung Einsprache. Mit Verfügung des Verhöramts vom 30. Oktober 2008 wurden die Akten der Staatsanwaltschaft überwiesen mit dem Antrag, beim Kantonsgericht Anklage zu erheben. In der Folge verfügte die Staatsanwaltschaft eine Überweisung der Strafsache an das Kantonsgericht. Mit Vorladung des Kantonsgerichts vom 12. November 2008 wurde X._ verpflichtet, am 2. Dezember 2008 zur Hauptverhandlung vor dem Einzelrichter als Angeklagter persönlich zu erscheinen. Es wurde ihm angezeigt, dass für das Verfahren Kantonsgerichtspräsident Walter Kobler zuständig ist. Am 20. November 2008 reichte X._ bei der Kantonsgerichtskanzlei ein Ausstandsbegehren ein. Er verlangte, dass Kantonsgerichtspräsident Walter Kobler in den Ausstand trete, weil er infolge besonderer Tatsachen als befangen erscheine. In der Folge wurde das Begehren an die Justizaufsichtskommission des Obergerichts des Kantons Appenzell Ausserrhoden überwiesen. C. Mit Entscheid vom 31. März 2009 wies die Justizaufsichtskommission das Ausstandsbegehren ab. Sie erwog, es bestehe weder eine besondere Freundschaft zwischen dem Geschädigten und Walter Kobler noch erscheine dieser infolge anderer Tatsachen als befangen. D. Gegen diesen Entscheid erhebt X._ mit Eingabe vom 29. Mai 2009 beim Bundesgericht Beschwerde in Strafsachen (Art. 78 ff. BGG). Er beantragt, der angefochtene Entscheid sei aufzuheben und es sei der Ausstand von Kantonsgerichtspräsident Walter Kobler anzuordnen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Der Beschwerdeführer ersucht um Gewährung der unentgeltlichen Rechtspflege. Er rügt eine Verletzung seines Anspruchs auf ein verfassungsmässiges Gericht (Art. 30 Abs. 1 BV, Art. 6 Ziff. 1 EMRK). E. Das Obergericht hat auf eine Vernehmlassung verzichtet. Der Kantonsgerichtspräsident schliesst unter Verweisung auf den angefochtenen Entscheid auf Abweisung der Beschwerde.