Faits: A. X._ exerce comme médecin psychiatre et psychothérapeute, à Genève. Spécialisé en sexologie clinique, il enseigne dans divers établissements, a publié plusieurs articles et donné des conférences dans ce domaine. En juillet 2006, il a été consulté par A._, divorcée depuis 2003 de B._, duquel elle avait eu trois enfants, nés en 1997 et 2001. Celle-ci nourrissait de graves craintes au sujet de la conduite de son ex-mari à l'égard de leurs enfants, dont celui-ci avait la garde conjointe. Elle sollicitait du Dr X._ un avis spécialisé sur la dangerosité physique et psychique de son ex-mari vis-à-vis des enfants, qu'elle avait l'intention de produire dans le cadre des procédures civile et pénale l'opposant à ce dernier. En raison des relations conflictuelles existant entre les époux, cet examen ne pourrait avoir lieu qu'à l'insu de B._ et se fonderait essentiellement sur des notes manuscrites de l'intéressé, qu'elle remettrait au Dr X._. Ces notes avaient été rédigées une vingtaine d'années auparavant dans le cadre d'un suivi psychothérapeutique et portaient sur des faits relevant de la plus stricte intimité de B._ (rêves et fantasmes). Par lettre du 11 juillet 2006, X._ a accepté ce mandat. Le 29 août 2006, il a rendu un rapport intitulé: "Expertise en sexologie à propos d'écrits et de comportements conjugaux et familiaux de M. B._" (act. 4 pce 1). L'expertise se basait "pour l'essentiel sur l'entier des notes manuscrites de M. B._ dans le cadre de traitements psychothérapeutiques suivis d'août 1986 à mai 1989"; elle reposait aussi sur un résumé de vie conjugale de Mme A._, les rapports d'audition des enfants du 3 mars 2006, établis dans le cadre de la loi fédérale sur l'aide aux victimes d'infractions, un rapport d'enquête en limitation de l'autorité parentale du droit de garde et du droit de visite du 20 mars 2006, une note manuscrite de Mme A._ rapportant un dialogue avec l'un de ses enfants, une note dactylographiée de celle-ci décrivant les faits l'ayant inquiétée, ainsi qu'un rapport au juge de paix rédigé par deux psychologues du 26 avril 2006, tous documents lui ayant été remis par sa mandante. Le Dr X._ précisait que l'étude tiendrait compte de "l'intérêt des enfants C._ et D._, nés le 16 décembre 1997, et E._, né le 10 mars 2001, le but n'étant pas de les séparer de leur père, mais, si cela s'avérait nécessaire au travers des informations mises à disposition du spécialiste, de permettre de les protéger adéquatement de lui, le temps jugé nécessaire à ce qu'ils puissent le faire eux-mêmes". Au terme de son analyse, il concluait que M. B._ n'offrait "de loin pas toutes les garanties de protection de ses enfants et de capacité à jouer correctement son rôle de père". Les limites de M. B._ se situaient sur trois plans distincts et faisaient courir des risques cumulatifs aux enfants: - premièrement un risque de passages à l'acte de type inceste parent-enfant était très clairement présent; - deuxièmement, l'érotisation manifeste par M. B._ des châtiments corporels, constituait un risque de dérapage certain, potentiellement très nuisible au développement des enfants; - troisièmement, une composante impulsive/compulsive était aussi plus que fortement probable, rendant très aléatoire et fragile le contrôle que M. B._ pouvait avoir sur lui-même dans les deux domaines précédents. En conclusion, le Dr X._ suggérait "fermement que jusqu'à un âge approprié des enfants leur permettant de se protéger eux-mêmes (intelligence formelle et capacité de discernement suffisante, c'est-à-dire en général vers 15 à 16 ans) une protection des visites à leur père soit systématiquement appliquée". B. Le 26 septembre 2006, B._ a déposé une dénonciation à l'encontre du Dr X._ auprès de la Commission de surveillance des professions de la santé et des droits des patients du canton de Genève (ci-après: la Commission de surveillance). Il contestait les affirmations et conclusions prises dans le rapport d'expertise du 29 août 2006, en relevant que ce praticien ne l'avait jamais vu et s'était basé sur des notes personnelles rédigées vingt ans auparavant dans le cadre de sa psychothérapie, que son ex-épouse lui avait subtilisées dans un esprit de vengeance. Il a notamment produit deux rapports d'examens psychiatriques établis les 22 juin et 19 septembre 2006 par le Dr F._, ainsi qu'une expertise du Prof. G._ du 11 septembre 2006. Ces praticiens, tous deux psychiatres et psychothérapeutes, contestaient les conclusions du rapport du Dr X._ et réprouvaient sa méthode d'analyse. Par la suite, il a également produit l'expertise judiciaire du 2 octobre 2006 établie par le Dr H._, psychiatre et psychothérapeute d'enfants et d'adolescents, dont seules les pages 37 à 40 et 43 à 44 ont été versées à la procédure. Ces pages de l'expertise ont été communiquées à X._ le 20 novembre 2009; la Commission de surveillance a ensuite refusé, le 7 décembre 2009, la demande de l'intéressé tendant à prendre connaissance des pages non versées au dossier, qu'elle a estimé couvertes par l'art. 45 de la loi genevoise sur la procédure administrative du 12 septembre 1985 (LPA; RSGE E 5 10). Par décision du 17 décembre 2009, la Commission de surveillance a infligé à X._ un blâme et une amende de 5'000 fr., en application de l'art. 110 al. 2 et 3 de l'ancienne loi sur les professions de la santé du 11 mai 2001 (aLPS), en vigueur jusqu'au 31 août 2006, moment où les faits incriminés s'étaient déroulés. Elle a notamment retenu qu'au vu de la méthode de travail adoptée par l'intéressé et du caractère péremptoire des conclusions formulées dans son rapport 29 août 2006, la faute commise était grave, d'autant plus qu'il n'avait jamais fait preuve d'un esprit critique sur son travail. C. Saisi d'un recours de X._ contre cette décision, le Tribunal administratif du canton de Genève l'a admis partiellement, par arrêt du 16 novembre 2010. Il a ainsi confirmé la décision attaquée en tant qu'elle infligeait un blâme au recourant et l'a annulée pour le surplus, au motif que la loi fédérale sur les professions médicales universitaires du 23 juin 2006 (LPMéd; RS 811.11) ne permettait pas de cumuler le blâme et l'amende. La juridiction cantonale a cependant relevé qu'il s'agissait d'une sanction extrêmement clémente au vu de la faute commise. D. X._ forme un recours en matière de droit public auprès du Tribunal fédéral et conclut, sous suite de frais et dépens, à l'annulation de l'arrêt du Tribunal administratif du 16 novembre 2010. Le Tribunal administratif, devenu la Chambre administrative de la Cour de justice depuis le 1er janvier 2011, se réfère au dispositif et aux considérants de son arrêt. De son côté, la Commission de surveillance a déposé des observations détaillées, au terme desquelles elle conclut au rejet du recours dans la mesure où il est recevable et à la confirmation de l'arrêt attaqué, sous suite de frais et dépens.