Faits:
A. Le 12 septembre 2011, la Cour des comptes de Genève a publié son rapport annuel d'activités 2010-2011. En page 9 du tome 1 de celui-ci, elle faisait référence sous chiffre 3 à "l'audit relatif au processus de recrutement à la Ville de Genève". Dans le tome 2, page 109, la Cour des comptes indiquait qu'un poste de haut cadre avait été attribué sans mise au concours à un collaborateur de la Ville de Genève dont l'expérience et la formation professionnelle ne correspondaient pas aux exigences du poste, et que des conditions de sortie particulièrement avantageuses avaient été prévues contractuellement au cas où ledit collaborateur ne donnerait pas satisfaction ou souhaiterait quitter le poste durant la période d'essai. La Cour des comptes relevait ensuite que ces pratiques de recrutement ne correspondaient pas à un bon emploi des deniers publics, nuisaient considérablement à l'image d'employeur responsable de la Ville de Genève et péjoraient son attractivité pour des postes de hauts cadres. Le nom du cadre visé n'était pas mentionné. Divers articles de presse parus le 5 octobre 2011 donnaient en revanche le nom de l'intéressé.
Le 17 novembre 2011, A._ a sollicité de la Cour des comptes la rectification du rapport d'activités précité. Il demandait la rédaction d'un addendum démentant, au vu des déterminations et des pièces qu'il produisait, l'affirmation selon laquelle son expérience et sa formation ne correspondaient pas aux exigences du poste de directeur des ressources humaines de la Ville de Genève. Par courriers des 7 puis 21 décembre 2011, la Cour des comptes a signifié son refus de procéder à quelque modification que ce soit. Aucune voie de droit n'était mentionnée.
B. Le 6 janvier 2012, A._ a saisi la Chambre administrative de la Cour de justice de la République et canton de Genève d'un recours, subsidiairement d'un recours pour déni de justice, contre le refus de la Cour des comptes du 21 décembre 2011 de rectifier le rapport litigieux. Il concluait à l'annulation de la décision attaquée ou à la constatation d'un déni de justice à son endroit, la cause devant dans les deux cas être renvoyée à la Cour des comptes pour qu'elle procède à la rectification requise. Par arrêt du 3 juillet 2012, la Chambre administrative de la Cour de justice a déclaré le recours irrecevable. En substance, elle a considéré que la Cour des comptes n'est pas habilitée à rendre des décisions dans ses rapports et n'est donc pas une autorité administrative au sens de la loi, de sorte que le refus de rectifier le rapport d'activités ne peut être assimilé à un déni de justice et échappe au contrôle judiciaire.
C. A._ recourt auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et au renvoi de la cause à la Cour de justice pour nouvelle décision au fond sur le recours dont elle a été saisie. La Cour de justice se réfère à son arrêt. La Cour des comptes s'est déterminée et conclut au rejet du recours. Le recourant a répliqué. La Cour des comptes a dupliqué. Ils persistent l'un et l'autre dans leurs conclusions.

Considérant en droit:
1. La décision attaquée a été rendue dans une cause de droit public (art. 82 let. a LTF) et aucune des exceptions prévues à l'art. 83 LTF n'est réalisée. Le recourant, qui a pris part à la procédure devant l'autorité précédente, est particulièrement atteint par la décision d'irrecevabilité attaquée et a un intérêt digne de protection à son annulation ou sa modification (art. 89 al. 1 LTF). Le recours est formé en temps utile (art. 100 al. 1 LTF) contre une décision finale (art. 90 LTF) rendue en dernière instance cantonale (art. 86 al. 1 let. d LTF). Le recours est dès lors recevable.
2. Le recourant se plaint d'une constatation manifestement inexacte des faits, lesquels seraient largement incomplets.
2.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF), sous réserve des cas prévus à l'art. 105 al. 2 LTF. Selon l'art. 97 LTF, il ne peut s'en écarter que si les constatations de ladite autorité ont été établies en violation du droit au sens de l'art. 95 LTF ou de façon manifestement inexacte, c'est-à-dire arbitraire (art. 105 al. 2 LTF) et pour autant que la correction du vice soit susceptible d'influer sur le sort de la cause (<ref-ruling> consid. 4.1.2 p. 62; <ref-ruling> consid. 2.4 p. 314). Si le recourant entend se prévaloir de constatations de faits différentes de celles de l'autorité précédente (cf. art. 97 al. 1 LTF), il doit expliquer de manière circonstanciée en quoi les conditions d'une exception prévue par l'art. 105 al. 2 LTF seraient réalisées. A défaut, il n'est pas possible de tenir compte d'un état de fait divergent de celui retenu dans l'acte attaqué. En particulier, le Tribunal fédéral n'entre pas en matière sur des critiques de type appellatoire portant sur l'état de fait ou sur l'appréciation des preuves (<ref-ruling> consid. 3 p. 104 et les arrêts cités).
2.2 En l'espèce, le recourant entend compléter l'état de fait de l'arrêt attaqué par des éléments "dûment exposés par le recourant, respectivement discutés par la Cour des comptes". Il s'attache ainsi à décrire le contexte de l'affaire et les arguments, de fait et juridiques, présentés par les parties. Ce faisant, son grief dénonce plus une violation du droit d'être entendu faute de prise en considération de certains arguments soulevés par les parties, que d'une constatation lacunaire des faits. Quoi qu'il en soit, ces éléments ne sont pas décisifs pour le sort de la cause. Le grief de violation de l'art. 97 LTF n'a partant pas à être examiné.
3. Sur le fond, le recourant se plaint d'un déni de justice. Il fait valoir que la publication du rapport d'activités porte atteinte à sa liberté personnelle (art. 10 al. 2 Cst.) et à son droit au respect de la vie privée (art. 8 CEDH), lesquels doivent bénéficier d'une protection juridictionnelle conformément aux art. 29a Cst. et 13 CEDH. Seule la voie du recours auprès de la Chambre administrative de la Cour de justice permettrait d'assurer cette protection, aucune autre voie ne lui étant ouverte. En refusant d'entrer en matière, la Cour de justice aurait violé les garanties fondamentales précitées.
3.1 La cour cantonale s'est fondée sur l'art. 132 al. 2 de la loi genevoise du 26 septembre 2010 sur l'organisation judiciaire (LOJ/GE; RSG E 2 05) qui prévoit que le recours à la Chambre administrative est ouvert contre les décisions des autorités et juridictions administratives au sens des art. 4, 4A, 5, 6 al. 1 let. a et e, et 57 de la loi genevoise du 12 septembre 1985 sur la procédure administrative (LPA/GE; RSG E 5 10). L'art. 4 LPA/GE définit la notion de décision au sens de cette loi et l'art. 5 LPA/GE énumère les autorités administratives visées par la loi. La Cour des comptes, à l'instar du Grand Conseil, n'en fait pas partie.
3.2 Le Tribunal fédéral ne revoit l'interprétation des normes cantonales que sous l'angle restreint de l'arbitraire. Ce faisant, il s'écarte de la solution retenue par l'autorité cantonale de dernière instance que si celle-ci apparaît insoutenable, en contradiction manifeste avec la situation effective, adoptée sans motifs objectifs et en violation d'un droit certain. Lorsque l'interprétation défendue par l'autorité cantonale ne se révèle pas déraisonnable ou manifestement contraire au sens et au but de la disposition ou de la législation en cause, elle est confirmée, même si une autre solution paraît également concevable, voire préférable. En outre, pour qu'une décision soit annulée au titre de l'arbitraire, il ne suffit pas qu'elle se fonde sur une motivation insoutenable; encore faut-il qu'elle apparaisse arbitraire dans son résultat (<ref-ruling> consid. 2.4 p. 5).
3.3 Le recourant ne soutient pas que la LPA/GE a été interprétée par la cour cantonale de façon arbitraire. Il prétend toutefois à une extension du champ d'application de la loi à la Cour des comptes aux fins d'obtenir une décision au sens de l'art. 4A LPA/GE, à teneur duquel toute personne qui a un intérêt digne de protection peut exiger que l'autorité compétente pour des actes fondés sur le droit fédéral, cantonal ou communal et touchant à des droits ou des obligations s'abstienne d'actes illicites, cesse de les accomplir, ou les révoque (let. a), élimine les conséquences d'actes illicites (let. b) ou constate le caractère illicite de tels actes (let. c). En d'autres termes, le recourant défend une interprétation extensive des art. 1 et 5 LPA/GE par laquelle la Cour des compte devrait être soumise à l'obligation de délivrer un acte attaquable.
3.3.1 La loi genevoise du 10 juin 2005 instituant une Cour des comptes (LICC; RS/GE D 1 12) lui donne pour tâche d'assurer un contrôle indépendant et autonome de l'administration cantonale, des institutions cantonales de droit public, des organismes subventionnés, ainsi que du secrétariat général de l'Assemblée constituante (art. 1 LICC). En dépit d'un premier projet de loi prévoyant de rattacher la Cour des comptes au pouvoir judiciaire, le législateur a considéré que, pour garantir l'indépendance la plus totale de la cour, elle devait bénéficier d'un statut détaché à la fois du pouvoir exécutif, du pouvoir législatif et du pouvoir judiciaire (Secrétariat du Grand Conseil genevois, Rapport du 3 mai 2005 de la Commission des finances chargée d'étudier le projet de loi instituant une Cour des comptes, p. 3). Le législateur n'a toutefois pas entendu instaurer un "quatrième pouvoir", aucune compétence de décision ni de coercition n'étant attribué à la Cour des comptes (Ibidem, p. 4).
3.3.2 Dans un arrêt cantonal rendu le 30 juillet 2012 dont se prévaut le recourant (ATA/450/2012), la Chambre administrative a admis que le destinataire d'une sanction prononcée par le Grand Conseil genevois devait bénéficier de la garantie de l'accès à la justice; elle s'est ainsi déclarée compétente en vertu de l'art. 5 let. g LPA/GE, qui tient pour autorité administrative "les personnes, institutions et organismes investis du pouvoir de décision par le droit fédéral ou cantonal". Dans le cas dont il était question, la sanction prononcée constituait une décision de sorte que la disposition précitée était applicable au Grand Conseil.
3.4 Il en va autrement dans la présente affaire, dans laquelle la cour cantonale a constaté que la Cour des comptes, non seulement n'était pas listée parmi les autorités de l'art. 5 LPA/GE, mais n'avait de plus pas pour tâche de rendre des décisions au sens de la lettre g. Les juges cantonaux ont ainsi interprété à la lettre une disposition faite d'une énumération exhaustive, dépourvue de toute ambiguïté. Cette façon de faire est conforme à la jurisprudence selon laquelle il n'y a pas lieu de déroger au sens littéral d'un texte clair (cf. <ref-ruling> consid. 2.2 p. 230). Dans ces circonstances, la solution retenue par la Cour de justice n'est pas constitutive d'arbitraire.
4. Il reste à examiner si l'arrêt cantonal respecte les garanties constitutionnelles invoquées par le recourant.
4.1 L'art. 29a Cst. prévoit que toute personne a droit à ce que sa cause soit jugée par une autorité judiciaire. Cette norme étend le contrôle judiciaire à toutes les matières, y compris aux actes de l'administration, en établissant une garantie générale de l'accès au juge (<ref-ruling> consid. 4.2 p. 328; <ref-ruling> consid. 2.2 p. 284; <ref-ruling> consid. 4.2 p. 327). Toute prétention litigieuse, quel que soit le domaine juridique dont elle relève, doit pouvoir faire l'objet au moins une fois en procédure cantonale d'un examen libre et complet en fait et en droit par un tribunal. En d'autres termes, les faits pertinents en droit doivent pouvoir être établis au moins une fois sans limitation en procédure cantonale (Message du 28 février 2001 concernant la révision totale de l'organisation judiciaire, FF 2001 4000, p. 4145 et s. ch. 4.1.4.7). Le tribunal cantonal applique le droit d'office, ce qui ne dispense pas les parties de motiver de façon adéquate leurs demandes (Ibidem, p. 4146). L'art. 29a in fine Cst. prévoit toutefois que la Confédération et les cantons peuvent, par la loi, exclure l'accès au juge dans des cas exceptionnels. Ces cas exceptionnels concernent les décisions difficilement "justiciables", par exemple des actes gouvernementaux qui soulèvent essentiellement des questions politiques, qui ne se prêtent pas au contrôle du juge (<ref-ruling>28 consid. 4.2 p. 132 ; <ref-ruling> consid. 3.1 p. 446; Message du 20 novembre 1996 relatif à une nouvelle constitution fédérale, FF 1997 I 1, p. 531 ch. 232). Le Tribunal fédéral a ainsi jugé que la contestation portant sur la mutation d'un fonctionnaire, en tant que titulaire de droits et d'obligations à l'égard de l'Etat, bénéficiait de la garantie de l'accès au juge de l'art. 29a Cst. dans la mesure où cet acte était susceptible d'affecter la situation juridique de l'intéressé (<ref-ruling>).
L'art. 13 CEDH, qui impose une voie de recours effective pour toute violation de la CEDH, n'offre pas de garantie supplémentaire d'accès au juge (<ref-ruling>28 consid. 4 p. 133 s. en relation avec arrêt 8C_866/2009 du 27 avril 2010 consid. 5 et les références citées).
4.1.1 L'art. 13 al. 1 Cst. garantit le droit au respect de la vie privée. Cette disposition protège l'identité, les relations sociales et les comportements intimes de chaque personne physique, l'honneur et la réputation professionnelle et sociale (<ref-ruling> consid. 3.1 p. 207; arrêt 1C_448/2008 du 13 mars 2009 consid. 3). Dans cette mesure, les art. 10 al. 2 Cst. et 8 CEDH protégeant la liberté personnelle que le recourant invoque n'ont pas de portée plus étendue (arrêt 1C_448/2008 précité consid. 3).
4.1.2 Prima facie, les violations constitutionnelles alléguées ne sont pas étrangères à la cause. Le rapport de la Cour des comptes ne donnait certes pas le nom du recourant, mais, au vu des informations disponibles, les tiers et, en l'occurrence, la presse, ont pu l'identifier. Le cas d'espèce ne saurait donner lieu à une exception à la garantie d'accès à la justice, une éventuelle atteinte à la réputation et à l'honneur du recourant se prêtant au contrôle du juge. Le recourant a un droit à la rectification des données le concernant si celles-ci sont fausses. L'acte par lequel la Cour des comptes se refuse à un tel examen doit être attaquable, ce quelle que soit la nature de cette institution. Le canton doit dès lors ouvrir une voie de recours judiciaire à cet effet.
4.2 La LICC ne prévoit aucune voie de droit relative aux actes de la Cour des comptes.
4.2.1 Dans le processus d'adoption de la LICC, un avis de droit avait été recueilli auprès du Professeur Knapp. Cette analyse du projet de la LICC faisait partie intégrante du rapport établi par la commission chargée de son élaboration à l'intention du Grand Conseil (Secrétariat du Grand conseil, rapport cité, pp. 10 ss). La question du caractère justiciable des actes illicites de la Cour des comptes n'avait pas échappé à l'auteur de l'avis de droit, pour qui la responsabilité de l'Etat pouvait être engagée dans le cadre de la loi cantonale sur la responsabilité de l'Etat et des communes (LREC; RSG A 2 40), puisque les membres de la Cour des comptes seraient des magistrats au sens de l'art. 1 de cette loi au même titre que les juges ou les conseillers d'Etat (Secrétariat du Grand Conseil, rapport cité, p. 45 ch. 294 et 47 ch. 303). Au surplus, pour qu'un recours contre les décisions de procédure de la Cour des comptes fût ouvert, cela devait être prévu expressément (Ibidem, p. 45 ch. 292 et p. 47 ch. 303). Les débats au Grand Conseil n'ont pas abordé la question de l'instauration d'une voie de droit spécifique contre les décisions de procédure de la Cour des comptes. La volonté du législateur demeure ainsi floue, car il est difficile de déterminer si l'absence de toute discussion sur cette question est délibérée ou résulte au contraire d'un oubli. Il se dégage tout de même de ce qui précède que, dans les cas d'une action en responsabilité pour acte illicite, la nature particulière de la Cour des comptes ne devrait pas exclure que des voies de droit déjà prévues par le droit cantonal à l'encontre des actes d'autres autorités lui soient applicables.
4.2.2 Le droit genevois ouvre plusieurs voies judiciaires à l'administré qui se verrait atteint dans sa réputation et son honneur par un acte d'une autorité cantonale ou communale. La LREC règle l'action en responsabilité pour actes illicites commis par des magistrats, des fonctionnaires ou des agents dans l'exercice de leur fonction (art. 1 et 2 LREC). Les parties sont toutefois divisées sur son applicabilité aux prétentions du recourant en rectification du rapport litigieux. Il n'est en tout cas pas d'emblée exclu que tel puisse être le cas, au vu du renvoi très général aux règles du code civil suisse (art. 6 LREC). S'agissant d'une prétention en rectification de données potentiellement fausses, pourrait également entrer en considération la loi cantonale sur l'information du public, l'accès aux documents et la protection des données personnelles (LIPAD; RSG A 2 08) par la procédure prévue aux art. 47 ss LIPAD. Enfin, les parties se rejoignent sur le fait que la procédure générale de la LPA/GE pourrait être applicable dans la mesure où aucune voie de droit ne serait disponible. En effet, la Chambre administrative de la Cour de justice est l'autorité ordinaire de recours (art. 132 LOJ/GE), ce qui lui confère une compétence générale en matière administrative (cf., sous l'ancienne LOJ/GE, <ref-ruling> consid. 2 p. 47). S'il existe ainsi plusieurs voies envisageables, aucune des lois précitées ne mentionne la Cour des comptes parmi les autorités couvertes par leurs champs d'application respectifs. En bref, en dépit des exigences de l'art. 29a Cst., le droit cantonal ne prévoit expressément aucune voie judiciaire permettant d'attaquer les actes de la Cour des comptes. C'est donc par jeux d'analogies et d'interprétations du champ d'application des lois cantonales que la voie de droit doit être déterminée.
4.3 Au vu des circonstances, le recourant bénéficie du droit d'accès au juge garanti par l'art. 29a Cst. Par conséquent, avant de déclarer un recours irrecevable faute de voie de droit expressément prévue par la loi, il appartient à la Chambre administrative de la Cour de justice compte tenu de sa compétence générale, de s'assurer qu'une autre procédure est effectivement ouverte au justiciable. A défaut, elle risque de commettre un déni de justice. Or, la cour cantonale n'a pas procédé à cet examen, puisqu'elle s'est contentée de constater l'irrecevabilité du recours en raison du champ d'application limité de la LPA/GE. Toutefois, l'éventuelle existence d'une voie de droit autre que celle, subsidiaire, de la LPA/GE, par laquelle le recourant pourrait faire valoir sa prétention en rectification du rapport, peut justifier la décision d'irrecevabilité querellée.
Le recourant ne saurait se prévaloir de l'art. 29a Cst. comme d'un droit lui permettant de choisir sa procédure "à la carte" ou d'obtenir une voie de droit supplémentaire à celles existant déjà. En l'occurrence, l'action en responsabilité de l'Etat a été expressément envisagée par le législateur. Elle apparaît ainsi comme propre à permettre au recourant de faire valoir sa prétention. Il n'est pas manifeste qu'une conclusion en rectification du rapport litigieux ou en constatation d'une atteinte illicite à sa personnalité par ce rapport (et non en versement d'une indemnité) soit irrecevable dans une telle procédure. La LREC renvoie sans précision particulière aux règles du code civil suisse (art. 6 LREC), qui, outre la réparation financière, laisse au juge le choix d'un "autre mode de réparation" (art. 43 al. 1 et 49 al. 2 CO). Lorsqu'il affirme que la LREC serait impropre à lui conférer la protection recherchée, le recourant se contente d'exposer en quoi les conditions d'octroi d'une indemnité ne seraient pas réalisées. Ce faisant, il confond les questions de recevabilité et de fond. Au surplus, sa prétention n'étant pas de nature pécuniaire, il n'aura pas à démontrer un dommage patrimonial. Quoi qu'il en soit, si cette procédure devait se révéler inapplicable, il subsisterait pour le recourant la procédure de la LIPAD. L'art. 47 de cette loi prévoit expressément, en complément à la LREC, une procédure en cessation de traitement illicite de données ou en constatation du caractère illicite du traitement (al. 1 let. b et c), ainsi qu'une procédure tendant à faire rectifier, compléter ou mettre à jour des données inexactes, incomplètes ou dépassées (al. 2 let. b), à faire figurer, en regard des données dont ni l'exactitude ni l'inexactitude ne peuvent être prouvées, une mention appropriée (al. 2 let. c), ou encore à publier une décision prise suite à la requête d'une personne dont les données n'étaient pas pertinentes et nécessaires ou inexactes (al. 2 let. e). Ainsi, prima facie, il n'apparaît pas que la mise en ?uvre de ces deux procédures laisse encore subsister une lacune qui devrait ouvrir la voie subsidiaire de la procédure générale de la LPA/GE. Du moins, le recourant ne démontre pas le contraire.
Ainsi, en dépit de ce qu'elle n'a pas procédé à l'examen découlant de l'art. 29a Cst., c'est à juste titre que la Chambre administrative a prononcé l'irrecevabilité de la cause portée devant elle.
5. Sur le vu de ce qui précède, le recours doit être rejeté, aux frais du recourant, qui succombe (art. 66 al. 1 LTF). Pour tenir compte des circonstances, et notamment de l'examen incomplet effectué par la cour cantonale, les frais judiciaires seront toutefois réduits. Il n'est pas alloué de dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux mandataires des parties et à la Cour de justice de la République et canton de Genève, Chambre administrative.
Lausanne, le 23 mai 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Sidi-Ali