Sachverhalt: A. Der stellvertretende Leitende Staatsanwalt der Staatsanwaltschaft III des Kantons Zürich, Andreas Ochsenbein, führt gegen X._ eine Strafuntersuchung wegen Betrugs und weiterer Delikte sowie ein Rechtshilfeverfahren zugunsten der Staatsanwaltschaft Potsdam (D). Beide Verfahren betreffen im Wesentlichen denselben Sachverhalt. Am 7. November 2008 erhob X._ Aufsichtsbeschwerde gegen die Staatsanwaltschaft III. Die Oberstaatsanwaltschaft nahm die Eingabe als Aufsichtsbeschwerde gegen die Staatsanwaltschaft III sowie als Ablehnungsbegehren gegen Staatsanwalt Ochsenbein entgegen. Mit Verfügung vom 15. Januar 2009 gab sie Ersterer keine Folge und wies Letztere kostenfällig ab. Eine Kopie der Beschwerdeschrift vom 7. November 2008 überwies sie zudem als Strafanzeige gegen Staatsanwalt Ochsenbein der dafür zuständigen Staatsanwaltschaft I. X._ rekurrierte gegen die Abweisung des Ablehnungsbegehrens und die Kostenauflage an die Direktion des Innern und der Justiz des Kantons Zürich. Diese wies den Rekurs am 20. Mai 2009 ab und auferlegte ihm die Kosten des Rekursverfahrens. B. Mit Beschwerde in Strafsachen beantragt X._, diese Verfügung der Direktion des Innern und der Justiz aufzuheben, Staatsanwalt Ochsenbein umgehend vom Straf- und vom Rechtshilfeverfahren abzuziehen oder die Sache eventuell mit den entsprechenden Auflagen an die Vorinstanz zurückzuweisen und alle Verfahrenshandlungen ab dem 7. November 2008, an denen Staatsanwalt Ochsenbein beteiligt war, aufzuheben oder die Sache eventuell mit den entsprechenden Auflagen an die Vorinstanz zurückzuweisen. C. Die Oberstaatsanwaltschaft und die Direktion des Innern und der Justiz verzichten auf Vernehmlassung. Staatsanwalt Ochsenbein bean-tragt, die Beschwerde abzuweisen. In seiner Replik stellt X._ fest, es seien dem Bundesgericht nur einige wenige Verfahrensakten eingereicht worden, er gehe davon aus, dass das Bundesgericht alle für die Beurteilung der Beschwerde erforderlichen Akten einholen werde. Im Übrigen verweise er auf seine Beschwerde. Staatsanwalt Ochsenbein teilt mit, dass in dieser Sache gegen ihn eine Strafuntersuchung wegen Amtsgeheimnisverletzung eingeleitet worden sei.