Faits:
A. X._, né en 1963, ressortissant du Kosovo, ayant aussi obtenu la nationalité française à une date indéterminée, est arrivé en Suisse le 21 mai 1989 et a bénéficié d'une autorisation de séjour saisonnière délivrée par le canton de Berne, jusqu'au 30 novembre 1991.
Le 28 juillet 1989, il s'est marié au Kosovo avec une compatriote, dont il a eu trois enfants: A._, né le 14 avril 1991, B._, né le 22 juillet 1992 et C._, né le 12 octobre 1994.
Le 20 octobre 1993, l'Office cantonal de la population du canton de Genève a refusé de donner une suite favorable à la demande d'autorisation de séjour qu'il avait présentée et lui a imparti un délai au 20 novembre 1993 pour quitter le territoire genevois. Le 15 mai 1995, cette décision a été étendue à l'ensemble de la Confédération.
Le 25 mai 1995, le Tribunal de Vitina, au Kosovo, a prononcé le divorce des époux X._. Revenu seul en Suisse, X._ a déposé une demande d'asile, le 6 octobre 1995, demande qu'il a retirée à la suite de son mariage, le 21 novembre 1995, avec une ressortissante suisse, Y._, mère d'une enfant prénommée D._, née le 9 juin 1989.
Le 19 juillet 1996, X._ a obtenu une autorisation de séjour dans le cadre du regroupement familial puis, le 21 novembre 2000, il a bénéficié d'un permis d'établissement.
Le 5 septembre 2001, le Tribunal de première instance du canton de Genève a prononcé le divorce des époux X._ - Y._.
Depuis le 5 novembre 2001, X._ dispose d'un passeport français, mais la date de l'obtention de sa nationalité française n'est pas connue.
Le 1er février 2002, il s'est remarié au Kosovo avec sa première épouse, qu'il a fait venir en Suisse avec ses trois enfants, le 18 mai 2002.
B. A la suite de la plainte déposée par l'ex-épouse, Y._, en raison des actes commis par X._ sur sa fille D._, ce dernier a été mis en détention préventive, le 24 avril 2005.
Par jugement du 2 mars 2007, la Cour d'assises du canton de Genève a condamné X._ à huit ans de réclusion, sous déduction de la détention préventive, pour contrainte sexuelle, viol et actes d'ordre sexuel avec une enfant. Les faits qui lui étaient reprochés s'étaient déroulés de 1994 à 2005 et avaient débuté lorsque sa belle-fille était âgée de cinq ans.
Le 13 août 2009, l'Office cantonal de la population a révoqué l'autorisation d'établissement de X._ et lui a ordonné de quitter la Suisse, dès qu'il aurait satisfait aux autorités pénitentiaires.
C. X._ a recouru contre ce prononcé auprès de la Commission cantonale de recours en matière administrative, devenue Tribunal administratif de première instance du canton de Genève depuis le 1er janvier 2011, qui a rejeté le recours, par décision du 28 septembre 2010.
Saisie d'un recours contre cette décision, la Cour de justice du canton de Genève, Chambre administrative 2ème section, l'a rejeté par arrêt du 3 mai 2011. La juridiction cantonale a retenu en bref que, les conditions pour révoquer le permis d'établissement de X._ étaient remplies, compte tenu notamment de la menace actuelle et du risque de concret de récidive que ce dernier présentait.
D. Agissant par la voie du recours en matière de droit public X._ conclut à l'annulation de la décision de l'Office cantonal de la population du 13 août 2009 et de l'arrêt de la Cour de justice du 3 mai 2011. Il demande au Tribunal fédéral de lui accorder une autorisation de séjour pour regroupement familial, subsidiairement de renvoyer la cause à l'autorité cantonale pour nouvelle décision dans le sens des considérants.
La Cour de justice a renoncé à déposer des observation et déclare persister dans les considérants et le dispositif de son arrêt. L'Office fédéral des migrations propose de rejeter le recours.
Considérant en droit:
1. 1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral, ni le droit international, ne donnent droit. Il est cependant recevable contre les décisions révoquant une autorisation d'établissement ou constatant qu'une autorisation de ce type est caduque, parce qu'il existe en principe un droit au renouvellement de cette autorisation (ATF 135 II 1 consid. 1.2.1 p. 4).
1.2 En sa qualité de ressortissant français, le recourant peut également prétendre à l'octroi d'une autorisation de séjour en Suisse, en vertu du droit à la libre circulation que lui confère l'Accord du 1er juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0142.112.681; ATF 129 II 249 consid. 4 p. 258 ss, spécialement consid. 4.2 p. 259 et 4.3 p. 260).
1.3 En raison de l'effet dévolutif du recours déposé auprès du Tribunal cantonal (ATF 136 II 101 consid. 1.2 p. 104 et les arrêts cités), les conclusions du recourant tendant à l'annulation de la décision de l'Office cantonal de la population du 13 août 2009 sont irrecevables.
1.4 Pour le surplus, l'arrêt attaqué est une décision finale (art. 90 LTF), rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF). Déposé en temps utile (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF) par le destinataire de l'arrêt attaqué qui a qualité pour recourir au sens de l'art. 89 al. 1 LTF, le recours en matière de droit public est par conséquent recevable.
2. Le recourant voit une violation du droit d'être entendu dans le fait qu'il n'a pas été auditionné par l'autorité administrative et les autorités judiciaires.
Toutefois, il n'invoque aucune violation d'une disposition constitutionnelle ou cantonale et n'explique pas davantage sur quels points il aurait dû être entendu oralement. Son grief est donc irrecevable, faute d'être motivé conformément aux exigences de l'art. 106 al. 2 LTF et de la jurisprudence (cf. ATF 134 I 23 consid. 5.2 p. 30 et les références citées). Au demeurant, il a pu s'exprimer largement dans les écritures qu'il a produites devant les différentes autorités cantonales et l'art. 29 al. 2 Cst. ne confère pas un droit d'être entendu oralement (ATF 134 I 140 consid. 5.3 p. 148).
3. De nationalité française et séjournant en Suisse depuis plus de quinze ans, le recourant se plaint d'un violation des art. 5 al. 1 Annexe I ALCP et 63 LEtr. Il estime aussi que la révocation de son autorisation d'établissement est contraire au principe de la proportionnalité et à l'art. 8 CEDH.
3.1 L'ALCP ne réglementant pas le retrait de l'autorisation d'établissement UE/AELE, c'est l'art. 63 LEtr qui est applicable (cf. art. 23 al. 2 de l'ordonnance fédérale du 22 mai 2002 sur l'introduction progressive de la libre circulation des personnes entre, d'une part, la Confédération suisse et, d'autre part, l'Union européenne et ses Etats membres, ainsi qu'entre les Etats membres de l'Association européenne de libre-échange [OLCP; RS 142.203]; arrêt 2C_473/2011 du 17 octobre 2011, consid. 2.1).
3.2 Aux termes de l'art. 63 al. 2 LEtr, l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que s'il attente de manière très grave à la sécurité et l'ordre publics en Suisse ou à l'étranger, les met en danger ou représente une menace pour la sécurité intérieure ou extérieure de la Suisse (art. 63 al. 1 let. b LEtr), ou encore s'il a été condamné à une peine privative de liberté de longue durée, soit à une peine dépassant un an d'emprisonnement (ATF 135 II 377 consid. 4.2 p. 380 ss), ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 CP (cf. art. 62 let. b LEtr, auquel renvoie l'art. 63 al. 1 let. a LEtr; arrêt précité consid. 2.1 in fine).
Il est en l'espèce constant qu'au vu de la condamnation du recourant à huit ans de réclusion pour infractions à l'intégrité sexuelle (viol au sens de l'art. 190 CP, contrainte sexuelle au sens de l'art. 189 CP et actes d'ordre sexuel avec une enfant selon l'art. 187 CP), le recourant a très gravement attenté à la sécurité et à l'ordre publics en Suisse au sens de l'art. 63 al. 2 LEtr (cf. ATF 137 II 297 consid. 3.3 p. 303). Reste à déterminer si la révocation de son autorisation d'établissement se justifie sous l'angle de l'ALCP et du principe de la proportionnalité.
4. 4.1 Comme l'ensemble des droits octroyés par l'ALCP, le droit de demeurer en Suisse pour y exercer une activité lucrative ne peut être limité que par des mesures d'ordre ou de sécurité publics, au sens de l'art. 5 al. 1 annexe I ALCP, dont le cadre et les modalités sont définis par les trois directives citées, la plus importante étant la directive 64/221/CEE, ainsi que par la jurisprudence y relative de la Cour de justice des Communautés européennes (ci-après: la Cour de justice ou CJCE) rendue avant la signature de l'accord le 21 juin 1999 (cf. art. 5 al. 2 annexe I ALCP en relation avec l'art. 16 al. 2 ALCP; au sujet de la prise en considération des arrêts de la Cour de justice postérieurs à cette date, cf. ATF 136 II 5 consid. 3.4 p. 12 et les références citées).
Conformément à la jurisprudence de la Cour de justice, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion "d'ordre public" pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société. La seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver de telles mesures. Les autorités nationales sont tenues de procéder à une appréciation spécifique, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas nécessairement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne peuvent être prises en considération que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle pour l'ordre public (ATF 136 II 5 consid. 4.2 p. 20; 134 II 10 consid. 4.3 p. 24; 130 II 176 consid. 3.4.1, 4.2 et 4.3.1 et les références).
La jurisprudence admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (ATF 130 II 176 consid. 3.4.1 p. 184). Dans ce cas, il ne doit pas être établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de récidive soit nul pour que l'on renonce à une telle mesure. Compte tenu de la portée que revêt le principe de la libre circulation des personnes, ce risque, qui est essentiel, ne doit, en réalité, pas être admis trop facilement. Il faut bien plutôt l'apprécier en fonction de l'ensemble des circonstances du cas, en particulier de la nature et de l'importance du bien juridique menacé, ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (ATF 136 II 5 consid. 4.2 p. 20; 130 II 493 consid. 3.3 p. 499 et les références).
A cet égard, le Tribunal fédéral se montre particulièrement rigoureux - en suivant en cela la pratique de la Cour européenne des droits de l'homme - en présence d'infractions à la législation fédérale sur les stupéfiants, d'actes de violence criminelle et d'infractions contre l'intégrité sexuelle (arrêts 2C_473/2011 du 17 octobre 2011, consid. 2.2; 2A.308/2004 du 4 octobre 2004 consid. 3.3 et les références).
4.2 Le recourant fait valoir que les actes qui lui ont été imputés remontent à plus de cinq ans et que son comportement a été exemplaire depuis. Il bénéficie par ailleurs, depuis le 15 septembre 2009, d'un régime de travail externe à 50%, l'autre 50% étant couvert par l'octroi d'une demi-rente AI, ce qui prouverait qu'il ne représente pas un danger pour l'ordre public. Le prétendu risque de récidive serait en outre juridiquement infondé et ne reposerait sur aucun avis médical.
De son côté, la juridiction cantonale a estimé que la menace pour l'ordre public subsistait, dès lors que les actes à l'origine de la condamnation du recourant avaient commencé en 1994, lorsque la victime était âgée de cinq ans, et s'étaient poursuivis jusqu'à l'intervention de la justice, en 2005. Par ailleurs, compte tenu de la personnalité du recourant, qui avait toujours nié ou minimisé les faits, ce dernier présentait un risque concret de récidive. Ce risque l'emportait par ailleurs sur l'intérêt privé du recourant à demeurer en Suisse avec sa famille, d'autant plus que celui-ci avait la possibilité de s'installer en France, compte tenu de sa nationalité française.
4.3 Il est vrai que le dossier ne contient aucun avis médical au sujet du danger que pourrait représenter le recourant et qu'il déclare maintenant être prêt à se soumettre à une expertise médicale. Il faut cependant constater que le recourant n'a jamais reconnu les faits qui lui ont été reprochés et pour lesquels il a été condamné à une lourde peine. Il n'a, en particulier, éprouvé aucun sentiment de compassion pour sa victime, ni pris conscience de la portée de ses actes, qui se sont déroulés sur une période de plus de dix ans et n'ont cessé qu'à la suite de la dénonciation de sa victime. Le dossier ne contient d'ailleurs aucun élément sur un éventuel suivi psychiatrique auquel le recourant se serait soumis pendant sa détention et qui pourrait faire croire qu'il se serait amendé ou serait sur le point de l'être. Alors qu'il se trouve manifestement dans une situation de déni, on ne voit pas ce que les autorités cantonales pourraient maintenant tirer d'une éventuelle expertise médicale. Quoi qu'il en soit, les conditions d'une menace actuelle ne supposent pas que le risque de récidive soit établi avec certitude. Ce risque sera notamment apprécié en fonction de la nature et de l'importance du bien juridique menacé (ATF 130 II 493 consid. 3.3 p. 499, 176 consid. 4.3.1 p. 185). Or, en l'espèce, l'intégrité corporelle et sexuelle d'une enfant a été atteinte (cf. supra consid. 4.1 i.f.). Sur ce point, les déclarations écrites de la victime et de la mère de celle-ci, sans doute produites pour les besoins de la cause, ne sont pas de nature à faire croire que le recourant ne serait plus susceptible de mettre en danger une autre enfant. Quant au comportement exemplaire dont il se prévaut depuis sa condamnation, il n'est pas non plus significatif, puisqu'il était en détention ou en semi-liberté. Au vu de l'ensemble des circonstances, on ne peut pas reprocher à la Cour de justice d'avoir admis que le recourant représente bien une menace actuelle pour l'ordre public, qui justifie de limiter les droits que lui confère l'art. 5 al. 1 annexe I ALCP.
4.4 Dans cette situation, l'intérêt privé du recourant, dont deux fils sont majeurs et le troisième âgé de 17 ans, à demeurer en Suisse avec sa famille, n'est pas prépondérant par rapport à l'intérêt public à l'éloigner de Suisse. La révocation de l'autorisation d'établissement apparaît également justifiée sous l'angle du principe de la proportionnalité, car le long séjour du recourant en Suisse se trouve contrebalancé par la gravité des infractions commises, qui lui a valu une condamnation particulièrement lourde. Par ailleurs, il ne faut pas oublier que le recourant a choisi d'adopter la nationalité française, de sorte que rien ne l'empêchera de rester en contact avec sa famille depuis la France, et même de continuer à conseiller son fils aîné dans l'entreprise qu'il dirige.
4.5 La réglementation prévue par l'art. 8 CEDH est, sur cette question, identique et suppose de procéder également à une pesée des intérêts en présence (cf. ATF 135 I 153 consid 2.2.1 p.156 et les références). Le résultat de celle-ci ne peut être différent de celle opérée ci-dessus, de sorte que le recourant ne saurait se prévaloir de cette disposition pour demander l'octroi d'une autorisation de séjour pour regroupement familial. Au demeurant, lorsque les conditions de révocation d'une autorisation d'établissement sont réunies, l'autorité ne peut envisager l'octroi d'une autorisation de séjour (arrêts 2C_268/2011 du 22 juillet 2011 consid. 7.2; 2C_13/2011 du 22 mars 2011 consid. 2.3).
5. Au vu de ce qui précède, le recours doit être rejeté dans la mesure où il est recevable, avec suite de frais à la charge du recourant (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au recourant, à l'Office cantonal de la population et à la Cour de justice du canton de Genève, Chambre administrative 2ème section, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 6 décembre 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: Zünd
La Greffière: Rochat