Faits:
A. Le 30 octobre 2006, le Chef du Département genevois des institutions (ci-après: le département) a chargé l'avocat genevois A._ d'analyser le fonctionnement de la direction de la police judiciaire genevoise (ci-après: PJ). Me A._ a rendu son rapport le 28 février 2007, après avoir entendu plusieurs membres de la PJ ainsi que son chef, B._. Il faisait état de divers manquements de ce dernier dans l'exercice de ses fonctions. L'audit a été remis à l'intéressé le 15 mars 2007 par le Chef du département, qui lui a indiqué que, dans sa séance du 7 mars 1997, le Conseil d'Etat avait décidé de ne pas le reconduire dans ses fonctions. Une conférence de presse a été tenue le même jour, et le rapport a été distribué et publié sur le site internet de l'Etat de Genève et de la police.
Le 5, puis le 30 avril 2007, B._ s'est plaint auprès du Chef du département de ce que certains journaux avaient eu accès prématurément au rapport d'audit. Il demandait le retrait de ce rapport du site internet de l'Etat de Genève, et l'accès à tout le dossier d'audit (procès-verbaux, notes et documents). Il lui fut répondu que le rapport avait été retiré du site de l'Etat le 4 mai 2007, mais que le dossier relatif à l'établissement de ce rapport n'était pas accessible, conformément à l'art. 25 al. 4 de la loi genevoise sur l'information du public et l'accès aux documents, du 5 octobre 2001 (LIPAD). La médiation instituée par la LIPAD ayant échoué, le Chef du département a rejeté la demande d'accès, par décision du 22 juin 2007: la décision de non-confirmation n'étant pas susceptible de recours, B._ ne pouvait fonder son droit d'accès sur les règles de la procédure administrative.
B. B._ a alors saisi le Tribunal administratif genevois, concluant préalablement, notamment, à la production par les autorités intimées et Me A._ de tout le dossier relatif à l'établissement du rapport d'audit. Principalement, il demandait la constatation de l'illicéité de la mise à disposition du rapport sur les sites de la police et de l'Etat, et la transmission par le département, le Conseil d'Etat et Me A._, de l'intégralité du dossier relatif à l'établissement du rapport d'audit.
Le 4 mars 2008, le Tribunal administratif a rendu un arrêt sur partie par lequel il a mis hors de cause le Conseil d'Etat, ce dernier n'étant pas l'auteur de la décision attaquée. Le Tribunal administratif a par ailleurs appelé en cause Me A._ afin que ce dernier produise son dossier d'ici au 15 avril 2008. Le Tribunal déterminerait ensuite, en vertu de l'art. 37 al. 4 LIPAD, si ce dossier constituait un document au sens de l'art. 25 de la loi. En l'état, les parties n'auraient pas accès à ce dossier tant qu'un jugement définitif et exécutoire n'aurait pas accordé un tel accès.
Par arrêt du 12 août 2008, le Tribunal fédéral a déclaré irrecevable le recours formé par A._: une décision d'appel en cause était incidente et ne causait pas de préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF. Les conditions posées à l'art. 93 al. 1 let. b LTF n'étaient pas non plus réunies. L'ordre de produire le dossier ne causait pas non plus de dommage irréparable. Il ne portait pas atteinte au secret professionnel puisque le Tribunal administratif devrait encore statuer préalablement sur l'application de l'art. 25 LIPAD. Le délai imparti dans l'arrêt cantonal était fixé au 15 septembre 2008.
C. Le 28 avril 2009, le Tribunal administratif a rendu une nouvelle décision incidente, impartissant à A._ un délai au 29 mai 2009 pour produire son dossier, sous la menace des peines prévues à l'art. 292 CP. L'intéressé invoquait son secret professionnel, mais l'argument, soulevé après l'arrêt cantonal du 4 mars 2008 et l'arrêt du Tribunal fédéral, était tardif. Le Tribunal administratif ne pouvait statuer sur la demande d'accès sans prendre connaissance des documents en question.
Le même jour, le Tribunal administratif a rendu un second arrêt, sur partie, admettant partiellement le recours formé par B._ contre la décision du 22 juin 2007. Le Chef du département devait remettre à B._ une copie de certains documents figurant au dossier de l'Etat.
D. A._ forme deux recours en matière de droit public. Le premier (1C_247/2009) est dirigé contre l'arrêt incident; il tend à son annulation, subsidiairement à ce que le Tribunal administratif soit invité à statuer sans délai sur l'appel en cause du recourant après l'avoir dûment entendu. Le second recours (1C_249/2009) est formé contre l'arrêt sur partie; le recourant en demande l'annulation, dans la mesure où il admet l'appel en cause. Subsidiairement, il conclut au renvoi de la cause à la cour cantonale pour nouvelle décision, après avoir entendu le recourant. Il demande, dans ses deux recours, l'effet suspensif. Celui-ci a été accordé à titre superprovisoire.
Le Tribunal administratif persiste dans les considérants et dispositifs de ses arrêts. Le département conclut à l'admission des requêtes d'effet suspensif et des recours. B._ conclut à l'irrecevabilité, subsidiairement au rejet du recours 1C_247/2009, et à l'irrecevabilité du recours 1C_249/2009.
Considérant en droit:
1. Les recours sont dirigés contre deux décisions prises dans le cadre de la même procédure administrative. Il peuvent être joints afin qu'il soit statué par un même arrêt.
1.1 Les recours sont formés dans une cause relevant du droit public au sens de l'art. 82 let. a LTF. Les arrêts attaqués ont été rendus par l'autorité de dernière instance cantonale (art. 86 al. 1 let. d LTF).
1.2 Le recours 1C_249/2009 est dirigé contre un arrêt partiel par lequel le Tribunal a ordonné la transmission à B._ de divers documents contenus dans le dossier se trouvant en main du département.
Selon l'art. 89 al. 1 LTF, a qualité pour former un recours en matière de droit public quiconque a pris part à la procédure précédente (let. a), est particulièrement atteint par la décision attaquée (let. b) et a un intérêt digne de protection à son annulation ou sa modification.
Le recourant n'est manifestement pas le destinataire de l'arrêt partiel attaqué, qui n'impose des obligations qu'à l'Etat. Contrairement à ce que soutient le recourant, l'arrêt attaqué est totalement muet sur la question de son appel en cause; il ne confirme nullement la décision prise précédemment, au sujet de laquelle le Tribunal fédéral a refusé d'entrer en matière compte tenu de son caractère incident. Le recourant considère, subsidiairement, que son recours serait formé contre un retard à statuer sur la question de l'appel en cause. Le recourant n'en est pas moins étranger à l'objet de la décision attaquée. Le refus de statuer sur son appel en cause ne peut donc être attaqué par ce biais. Il s'ensuit que le recours est irrecevable.
1.3 Le recours 1C_247/2009 est formé contre un arrêt incident qui impose au recourant, sous la menace des peines prévues à l'art. 292 CP, de produire les pièces qui demeurent en sa possession. Le recourant est bien le destinataire de cette décision et a dès lors qualité pour la contester. Il y a lieu, cela étant, d'examiner la recevabilité du recours sous l'angle de l'art. 93 LTF.
1.3.1 Selon cette disposition, les décisions préjudicielles ou incidentes (autres que celles qui se rapportent à la compétence ou à la récusation) peuvent faire l'objet d'un recours si elles sont susceptibles de causer un préjudice irréparable, ou si l'admission du recours peut permettre d'éviter une procédure probatoire longue et coûteuse. Dans son arrêt du 12 août 2008, la cour de céans a considéré que ces conditions n'étaient pas réunies, tant en ce qui concerne l'appel en cause du recourant que l'ordre de produire son dossier.
1.3.2 L'arrêt attaqué est de même nature que le précédent, et n'en diffère que sur un point: l'ordre de production est assorti de la menace des sanctions pénales prévues à l'art. 292 CP. Si les décisions relatives à l'administration des preuves ne sont en principe pas de nature à entraîner un préjudice irréparable, elles sont en revanche susceptibles de causer un préjudice irréparable à leur destinataire lorsqu'elles mettent en jeu la sauvegarde d'un secret ou lorsqu'elles sont assorties de la menace des sanctions prévues par l'art. 292 CP (arrêts 1P.15/2006 du 16 février 2006 et 5P.350/2004 du 10 mai 2005; SJ 1999 I p. 186). Le recours est par conséquent recevable en tant qu'il est dirigé contre l'obligation faite au recourant de produire son dossier. En revanche, le recourant ne saurait revenir, par ce biais, sur la question de son appel en cause. Outre que tel n'est pas directement l'objet de l'arrêt attaqué, le recourant ne subit toujours pas de dommage irréparable sur ce point; les considérants de l'arrêt du 12 août 2008 demeurent d'actualité, la commination faite dans l'arrêt attaqué étant sans effet sur la question de l'appel en cause. Les conclusions subsidiaires présentées à ce propos sont par conséquent irrecevables, de même que les griefs qui concernent les conditions dans lesquelles a été ordonné son appel en cause.
2. Dans un grief d'ordre formel, le recourant reproche au Tribunal administratif de ne pas lui avoir donné l'occasion d'expliquer les raisons pour lesquelles il s'oppose à la production de son dossier, en particulier son secret professionnel.
2.1 La cour cantonale a estimé que le secret professionnel avait été invoqué tardivement, soit après l'arrêt du Tribunal fédéral confirmant le premier arrêt cantonal du 4 mars 2008. Jusque-là, il n'était pas contesté que le recourant avait agi "en qualité d'agent de l'Etat". Cette motivation explique pour quelle raison la cour cantonale n'est pas entrée en matière sur la question du secret professionnel du recourant. Faute de tout grief sur ce point, le grief doit être écarté.
2.2 Au demeurant, le droit d'être entendu, garanti par l'art. 29 al. 2 Cst., ne permet pas aux parties de s'exprimer inconditionnellement à n'importe quel stade d'une procédure. Le droit de s'exprimer doit être respecté lorsque l'autorité envisage de rendre une décision au détriment d'une partie.
En l'occurrence, le Tribunal administratif a clairement fait savoir (notamment au considérant 5 de l'arrêt attaqué) qu'il n'envisageait pas de statuer directement sur la demande formée par B._, et qu'il attendait pour ce faire d'avoir reçu et examiné les pièces qui se trouvent en mains du recourant. L'arrêt attaqué ne constitue ainsi qu'une ordonnance préparatoire. La prise de connaissance, par le seul Tribunal, des pièces détenues par le recourant, ne porte pas en soi atteinte aux droits que ce dernier invoque. Le recourant pourra encore s'exprimer en temps utile sur le droit d'accès réclamé par B._. Il n'y a pas, par conséquent, de violation de son droit d'être entendu.
3. Pour les mêmes motifs, l'ensemble des griefs relatifs à l'application de la LIPAD et à la protection de la sphère privée apparaît prématuré, puisque la cour cantonale ne s'est pas encore prononcée à ce sujet.
4. Le recourant se plaint ensuite d'arbitraire. Il estime que la cour cantonale ne pouvait pas ordonner elle-même l'exécution de sa décision de production de pièces; elle devait, conformément à l'art. 54 al. 2 de la loi genevoise sur la procédure administrative (LPA; RS/GE E 5 10), confier cette tâche à l'autorité de première instance (soit le département), car seule cette dernière pouvait, selon l'art. 56 al. 1 LPA, recourir aux menaces de sanctions pénales.
4.1 L'art. 54 LPA se rapporte à l'exécution des décisions de nature non pécuniaire. Il figure au chapitre IV du titre III de la loi, relatif à l'exécution des décisions. Située après l'ensemble des règles générales de procédure (titre II) et avant les dispositions relatives à la procédure de recours (titre IV), cette réglementation vise exclusivement l'exécution des décisions rendues sur le fond par l'autorité administrative. Il n'y a par conséquent aucun arbitraire à considérer qu'elle ne s'applique pas aux décisions d'administration des preuves prises en instance de recours, cette matière étant régie aux titres II et IV de la loi. Conformément aux art. 24 et 27 LPA (applicables à l'autorité de recours par renvoi de l'art. 76 LPA), l'autorité peut exiger la production de pièces de la part des parties ou de tiers. Cette compétence suffit pour admettre le recours à la commination pénale selon l'art. 292 CP (cf. arrêt 5P.378/2006 du 2 mars 2007, RtiD 2007 II p. 668).
4.2 Le recourant se plaint également à tort d'une violation de l'art. 292 CP. Il estime que s'il a agi en tant qu'agent de l'Etat, il ne pourrait à ce titre faire l'objet d'une injonction. Le recourant se fonde sur la prémisse erronée qu'un agent de l'Etat ne pourrait jamais faire l'objet d'une menace de sanction selon l'art. 292 CP. Cela est vrai pour les rapports internes à l'administration, dès lors que l'art. 292 CP n'a pas pour but d'éluder les moyens de contrainte qui sont propres à l'administration, telles les mesures disciplinaires (ATF 131 IV 32). En revanche, un agent de l'Etat qui est partie à une procédure judiciaire ne se trouve pas dans un tel rapport avec la juridiction chargée de la cause. Le recours à la commination selon l'art. 292 CP était dès lors admissible, quel que soit le rapport entre le recourant et l'Etat.
5. Sur le vu de ce qui précède, le recours 1C_247/2009 est irrecevable et le recours 1C_249/2009 est rejeté, dans la mesure où il est recevable. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont à la charge du recourant. Une indemnité de dépens est allouée à l'intimé B._, à la charge du recourant (art. 68 al. 1 LTF). Le présent arrêt rend pas ailleurs sans objet les demandes d'effet suspensif.
Par ces motifs, le Tribunal fédéral prononce:
1. Les causes 1C_247/2009 et 1C_249/2009 sont jointes.
2. Le recours 1C_249/2009 est irrecevable.
3. Le recours 1C_247/2009 est rejeté.
4. Les frais judiciaires, arrêtés à 3000 fr., sont mis à la charge du recourant.
5. Une indemnité de dépens de 2000 fr. est allouée à l'intimé B._, à la charge du recourant.
6. Le présent arrêt est communiqué aux parties et au Tribunal administratif du canton de Genève.
Lausanne, le 8 juillet 2009
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz