Faits:
A. Le 30 octobre 2006, le Chef du Département genevois des institutions (ci-après: le département) a chargé l'avocat genevois A._ d'analyser le fonctionnement de la direction de la police judiciaire genevoise (ci-après: PJ). Me A._ a rendu son rapport le 28 février 2007, après avoir entendu plusieurs membres de la PJ ainsi que son chef, B._; il faisait état de divers manquements de ce dernier dans l'exercice de ses fonctions. L'audit a été remis à l'intéressé le 15 mars 2007 par le Chef du Département, qui lui a indiqué que, dans sa séance du 7 mars 1997, le Conseil d'Etat avait décidé de ne pas le reconduire dans ses fonctions; une conférence de presse a été tenue le même jour, et le rapport a été distribué et publié sur le site internet de l'Etat de Genève et de la police.
Le 5, puis le 30 avril 2007, B._ s'est plaint auprès du Chef du Département de ce que certains journaux avaient eu accès prématurément au rapport d'audit; il demandait le retrait du rapport du site internet de l'Etat de Genève, et l'accès à tout le dossier d'audit (procès-verbaux, notes et documents). Il lui fut répondu que le rapport avait été retiré du site de l'Etat le 4 mai 2007, mais que le dossier relatif à l'établissement de ce rapport n'était pas accessible, conformément à l'art. 25 al. 4 de la loi genevoise sur l'information du public et l'accès aux documents, du 5 octobre 2001 (LIPAD). La médiation instituée par la LIPAD ayant échoué, le Chef du département a rejeté la demande d'accès par décision du 22 juin 2007: la décision de non-confirmation n'étant pas susceptible de recours, B._ ne pouvait fonder son droit d'accès sur les règles de la procédure administrative.
B. B._ a saisi le Tribunal administratif genevois, en prenant les conclusions suivantes:
1. [...]
Préalablement
2. Ordonner aux autorités intimées, le cas échéant à A._, de remettre au tribunal de céans l'intégralité du dossier relatif à l'établissement du rapport du 28 février 2007.
3. Ordonner aux autorités intimées de communiquer au tribunal l'heure exacte à laquelle le rapport a été publié sur les sites, de même que la personne ou l'autorité qui a décidé de le publier sur le site intranet de la police.
[...]
Principalement
5. Annuler la décision du département du 22 juin 2007.
Sur la publication du rapport d'audit:
6. Dire que la diffusion, sur les sites de l'Etat de Genève et de la police, du rapport du 28 février 2007 a été faite en violation de la LIPAD.
7. Condamner les autorités intimées à faire diffuser l'arrêt du tribunal de céans dans divers médias.
Sur la transmission du dossier relatif à l'établissement du rapport d'audit:
8. Transmettre, le cas échéant ordonner au département, au Conseil d'Etat et à Me A._ de transmettre au recourant l'intégralité du dossier relatif au rapport d'audit.
Si par impossible le tribunal de céans devait considérer que les procès-verbaux ne sont pas encore approuvés au sens de l'art. 25 al. 4 LIPAD
9. Soumettre, cas échéant ordonner au département, au Conseil d'Etat et à Me A._ de soumettre aux personnes interrogées le procès-verbal les concernant pour approbation.
10. Les transmettre, cas échéant ordonner au département, au Conseil d'Etat et à Me A._, sous la menace des peines prévues à l'art. 292 CP, de les transmettre au recourant.
[...]
Le 4 mars 2008, le Tribunal administratif a rendu un arrêt sur partie par lequel il a notamment déclaré irrecevables les conclusions n° 3, 6 et 7 du recours cantonal. La décision attaquée portait uniquement sur le refus du département de communiquer le dossier relatif au rapport d'audit. Les conclusions tendant à l'obtention de renseignements sur la diffusion de ce rapport et à la publication du dispositif de l'arrêt relevaient de l'action en rectification au sens des art. 35 à 38 LIPAD; seuls les organes officiels énoncés à l'art. 35 al. 2 de la loi avaient qualité pour former une telle action. Le recourant avait d'ailleurs agi tardivement, soit après le délai de dix jours à compter de la diffusion litigieuse. Le Tribunal administratif a par ailleurs mis hors de cause le Conseil d'Etat, et appelé en cause Me A._ afin que ce dernier produise son dossier.
C. B._ forme un recours en matière de droit public par lequel il demande l'annulation de l'arrêt du Tribunal administratif en tant qu'il déclare irrecevables les conclusions n° 3, 6 et 7 de son recours cantonal.
Le Tribunal administratif persiste dans les considérants et dispositif de son arrêt. Le département conclut au rejet du recours en tant qu'il est recevable. Le recourant a répliqué.
Considérant en droit:
1. Le recours est formé dans une cause relevant du droit public. Il peut faire l'objet d'un recours en matière de droit public au sens de l'art. 82 let. a LTF.
1.1 L'arrêt attaqué a été rendu par l'autorité de dernière instance cantonale (art. 86 al. 1 let. d LTF) et le recourant, dont une partie des conclusions a été déclarée irrecevable, a qualité pour contester ce prononcé (art. 89 al. 1 LTF).
1.2 Le Tribunal administratif a statué définitivement sur trois chefs de conclusions, en les déclarant irrecevables. Son arrêt a le caractère d'une décision partielle, attaquable en vertu de l'art. 91 LTF.
2. Dans un grief d'ordre formel, le recourant reproche au Tribunal administratif de ne pas avoir motivé sa décision d'irrecevabilité s'agissant de la conclusion n° 6 du recours cantonal. Au contraire des conclusions n° 3 et 7, celle-ci tendait à une constatation d'illicéité, et non à une rectification
2.1 Le droit d'être entendu consacré à l'art. 29 al. 2 Cst. implique notamment le devoir pour l'autorité de motiver sa décision, afin que le destinataire puisse la comprendre et la contester utilement s'il y a lieu, et que l'autorité de recours puisse exercer efficacement son contrôle. Pour répondre à ces exigences, il suffit que le juge mentionne, au moins brièvement, les motifs qui l'ont guidé et sur lesquels il a fondé sa décision; il n'a toutefois pas l'obligation d'exposer et de discuter tous les arguments invoqués par les parties. Il n'y a violation du droit d'être entendu que si l'autorité ne satisfait pas à son devoir minimum d'examiner les problèmes pertinents (ATF 129 I 232 consid. 3.2; 126 I 97 consid. 2b).
2.2 L'arrêt attaqué ne comporte certes pas de motivation spécifique à l'égard de la conclusion n° 6, qui tendait à la constatation de l'illicéité de la mise sur internet du rapport d'audit. Toutefois, il ressort clairement des considérants du Tribunal administratif que celui-ci a distingué les conclusions relatives à l'accès au dossier d'une part, recevables sous l'angle de l'art. 37 al. 2 LIPAD, et les trois autres conclusions, qui ne faisaient pas l'objet de la décision attaquée: celles-ci formaient un tout puisqu'il s'agissait en premier lieu de déterminer les circonstances de la mise sur internet du rapport d'audit, puis d'en constater l'illicéité, et enfin de diffuser l'arrêt du Tribunal administratif rendu sur ce point. On comprend dès lors pour quel motif la conclusion n° 6 du recours cantonal a connu le même sort que les conclusions n° 3 et 7, et le recourant est en mesure de faire valoir ses objections sur ce point. L'arrêt attaqué apparaît ainsi suffisamment motivé.
3. Le recourant soutient ensuite qu'il serait arbitraire de considérer que les conclusions n° 3, 6 et 7 de son recours cantonal constituaient une action en rectification; sa démarche tendait d'une part à une constatation d'illicéité, expressément prévue aux art. 37 al. 1 LIPAD et 49 LPA/GE, et d'autre part à obliger les autorités intimées à faire usage de leur droit de rectification, en réparation de l'atteinte subie par le recourant.
3.1 L'arbitraire, prohibé par l'art. 9 Cst., ne résulte pas du seul fait qu'une autre solution pourrait entrer en considération ou même qu'elle serait préférable; le Tribunal fédéral ne s'écarte de la solution retenue en dernière instance cantonale que si elle est manifestement insoutenable, méconnaît gravement une norme ou un principe juridique clair et indiscuté ou si elle heurte de manière choquante le sentiment de la justice ou de l'équité. Il ne suffit pas que la motivation de la décision soit insoutenable; encore faut-il qu'elle soit arbitraire dans son résultat (ATF 133 I 149 consid. 3.1 p. 153 et les arrêts cités).
3.2 Dans son recours cantonal, le recourant invoquait exclusivement la LIPAD: il se prévalait de l'art. 16 al. 2 de cette loi, selon lequel les informations communiquées par les autorités doivent être exactes, et de l'art. 26 al. 1 qui impose la prise en compte des intérêts privés opposés à la communication. Les griefs relatifs à la publication de l'audit sur internet s'achèvent par l'invocation de l'art. 35 LIPAD, qui permettrait selon le recourant de réparer l'atteinte subie en imposant à l'autorité de faire publier le dispositif de l'arrêt du Tribunal administratif.
C'est donc sans aucun arbitraire que la cour cantonale s'est placée sur le seul terrain de la LIPAD, tout en considérant que les conclusions 3, 6 et 7 du recours formaient un tout et tendaient non pas à une simple constatation, mais à une rectification d'ailleurs expressément requise par le recourant. Le recourant soutient à tort qu'il pouvait obliger, par voie judiciaire, l'autorité à faire usage de son propre droit de rectification; admettre une telle conclusion reviendrait à contourner l'art. 35 LIPAD, qui ne reconnaît pas de droit de rectification en faveur des particuliers. Quoi qu'il en soit, l'objet du recours cantonal, soit la décision du Chef du département du 22 juin 2007, ne portait que sur la communication du dossier relatif au rapport d'audit, et non sur la licéité des informations diffusées sur internet; le recours cantonal était également, sur ce point, dépourvu d'objet.
L'arrêt attaqué ne saurait non plus être qualifié d'insoutenable dans son résultat, dans la mesure où le but de la loi est d'assurer la transparence des institutions et de favoriser l'information du public (art. 1 LIPAD), mais non d'instituer un droit de rectification ou de réparation en cas d'atteinte aux particuliers.
4. Le recourant invoque enfin l'art. 6 par. 1 CEDH: l'arrêt attaqué le priverait du droit d'obtenir la constatation d'une atteinte illicite à sa personnalité. Comme cela est relevé ci-dessus, la LIPAD n'a pas pour but de permettre une telle constatation. Le recourant dispose d'autres voies de droit pour se plaindre d'une atteinte à sa personnalité, en particulier les actions fondées sur les art. 28 ss CC, voire une action en responsabilité de l'Etat. Le recourant a d'ailleurs saisi les juridictions genevoises d'une telle action, ce qui satisfait à l'exigence d'un contrôle judiciaire.
5. Sur le vu de ce qui précède, le recours doit être rejeté. Conformément à l'art. 66 al. 1 LTF, les frais judiciaires sont à la charge du recourant qui succombe. Il n'est pas alloué de dépens (art. 68 al. 3 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties et au Tribunal administratif du canton de Genève.
Lausanne, le 12 août 2008
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Le Greffier:
Féraud Kurz