Faits: A. Le 12 septembre 2011, la Cour des comptes de Genève a publié son rapport annuel d'activités 2010-2011. En page 9 du tome 1 de celui-ci, elle faisait référence sous chiffre 3 à "l'audit relatif au processus de recrutement à la Ville de Genève". Dans le tome 2, page 109, la Cour des comptes indiquait qu'un poste de haut cadre avait été attribué sans mise au concours à un collaborateur de la Ville de Genève dont l'expérience et la formation professionnelle ne correspondaient pas aux exigences du poste, et que des conditions de sortie particulièrement avantageuses avaient été prévues contractuellement au cas où ledit collaborateur ne donnerait pas satisfaction ou souhaiterait quitter le poste durant la période d'essai. La Cour des comptes relevait ensuite que ces pratiques de recrutement ne correspondaient pas à un bon emploi des deniers publics, nuisaient considérablement à l'image d'employeur responsable de la Ville de Genève et péjoraient son attractivité pour des postes de hauts cadres. Le nom du cadre visé n'était pas mentionné. Divers articles de presse parus le 5 octobre 2011 donnaient en revanche le nom de l'intéressé. Le 17 novembre 2011, A._ a sollicité de la Cour des comptes la rectification du rapport d'activités précité. Il demandait la rédaction d'un addendum démentant, au vu des déterminations et des pièces qu'il produisait, l'affirmation selon laquelle son expérience et sa formation ne correspondaient pas aux exigences du poste de directeur des ressources humaines de la Ville de Genève. Par courriers des 7 puis 21 décembre 2011, la Cour des comptes a signifié son refus de procéder à quelque modification que ce soit. Aucune voie de droit n'était mentionnée. B. Le 6 janvier 2012, A._ a saisi la Chambre administrative de la Cour de justice de la République et canton de Genève d'un recours, subsidiairement d'un recours pour déni de justice, contre le refus de la Cour des comptes du 21 décembre 2011 de rectifier le rapport litigieux. Il concluait à l'annulation de la décision attaquée ou à la constatation d'un déni de justice à son endroit, la cause devant dans les deux cas être renvoyée à la Cour des comptes pour qu'elle procède à la rectification requise. Par arrêt du 3 juillet 2012, la Chambre administrative de la Cour de justice a déclaré le recours irrecevable. En substance, elle a considéré que la Cour des comptes n'est pas habilitée à rendre des décisions dans ses rapports et n'est donc pas une autorité administrative au sens de la loi, de sorte que le refus de rectifier le rapport d'activités ne peut être assimilé à un déni de justice et échappe au contrôle judiciaire. C. A._ recourt auprès du Tribunal fédéral contre cet arrêt. Il conclut à son annulation et au renvoi de la cause à la Cour de justice pour nouvelle décision au fond sur le recours dont elle a été saisie. La Cour de justice se réfère à son arrêt. La Cour des comptes s'est déterminée et conclut au rejet du recours. Le recourant a répliqué. La Cour des comptes a dupliqué. Ils persistent l'un et l'autre dans leurs conclusions.