Sachverhalt: A. Beim Gerichtspräsidenten 13 des Gerichtskreises VIII Bern-Laupen (im Folgenden: Gerichtspräsident) ist ein Strafverfahren gegen X._ wegen Steuerhinterziehung hängig. An der Hauptverhandlung vom 25. März 2009 bestritt X._ die bernische Gerichtsbarkeit. Der Gerichtspräsident brach darauf die Verhandlung ab und überweis die Akten der Generalprokuratur des Kantons Bern zum Entscheid. Mit Beschluss vom 27. März 2009 bejahte der Stellvertretende Generalprokurator die Gerichtsbarkeit des Kantons Bern. Dagegen erhob X._ Beschwerde beim Bundesstrafgericht. Mit Entscheid vom 17. April 2009 trat dieses darauf nicht ein. Es liess offen, ob der Entscheid des Stellvertretenden Generalprokurators beim Bundesstrafgericht angefochten werden könne, da der Beschwerdeführer die örtliche Zuständigkeit der Berner Behörden jedenfalls zu spät bestritten habe. Gegen den Beschluss des Stellvertretenden Generalprokurators führte X._ auch Beschwerde in Strafsachen beim Bundesgericht. Dazu reichte der Gerichtspräsident beim Bundesgericht am 13. Mai 2009 eine Vernehmlassung ein mit dem Antrag, die Beschwerde und das Gesuch um aufschiebende Wirkung seien abzuweisen. Der Gerichtspräsident äusserte sich zum Gesuch um aufschiebende Wirkung unter anderem wie folgt: "Tatsache ist, dass es um die Festlegung von Steuern aus den Jahren 1989-1994 geht. Von Gesetzes wegen tritt die Verjährung spätestens 15 Jahre nach Ablauf der jeweiligen Steuerperiode ein. Klar ist damit, dass sich der Beschwerdeführer mit seinem Vorgehen in die Verjährung 'retten' will." Das Bundesgericht trat in der Folge mit Urteil vom 18. Juni 2009 auf die Beschwerde in Strafsachen nicht ein (1B_107/2009). B. Am 5. Juni 2009 stellte X._ gegen den Gerichtspräsidenten ein Ablehnungsgesuch. Er machte geltend, mit der dargelegten Äusserung in der Vernehmlassung vom 13. Mai 2009 erwecke der Gerichtspräsident den Anschein der Befangenheit. Mit Verfügung vom 8. Juni 2009 leitete der Gerichtspräsident die Akten an die Anklagekammer des Obergerichts des Kantons Bern zum Entscheid weiter. Dabei bestritt er jede Befangenheit, räumte aber ein, der Wortlaut in seiner Vernehmlassung an das Bundesgericht müsse als "ungünstig" bezeichnet werden. Damit habe ein gewisser Ärger über den Verfahrensablauf zum Ausdruck gebracht werden sollen. Mit Beschluss vom 15. Juli 2009 wies die Anklagekammer das Ablehnungsgesuch ab. C. X._ führt Beschwerde in Strafsachen mit dem Antrag, der Beschluss der Anklagekammer sei aufzuheben und das Ablehnungsgesuch gutzuheissen. D. Die Anklagekammer hat auf Vernehmlassung verzichtet. Der Gerichtspräsident hat Gegenbemerkungen eingereicht, ohne einen förmlichen Antrag zu stellen. X._ hat dazu Stellung genommen. Er hält an seinem Antrag fest.