Faits:
A. X._, né en 1973 et qui a la double nationalité française et kosovare, est arrivé en Suisse en novembre 1990 comme demandeur d'asile. Sa demande a été rejetée. Durant la procédure de recours auprès de la Commission suisse en matière d'asile, il a requis un permis B à la suite de son mariage, le 21 juillet 1993, avec une ressortissante suisse, Y._. Son recours en matière d'asile a, dès lors, été retiré. L'autorisation de séjour ainsi obtenue du fait de son mariage a été régulièrement renouvelée depuis 1993. Après un premier refus de lui délivrer un permis d'établissement (permis C), le 6 juillet 1999, ce permis lui a finalement été remis le 3 juin 2003.
De son union avec Y._ sont nés trois enfants, à savoir A._, en 1993, B._, en 1995 et C._, en 2005.
D'un point de vue professionnel, X._ a travaillé tout d'abord comme manoeuvre, avant de connaître une période de chômage puis d'être incarcéré durant cinq mois. Dès 1999, il s'est installé comme jardinier indépendant.
B. Outre qu'il a fait l'objet de toute une série de rapports de la police cantonale, respectivement de la police judiciaire de Lausanne et de la gendarmerie, X._ a subi les condamnations suivantes:
- Le 7 octobre 1991, il a été condamné par ordonnance du juge informateur de l'arrondissement d'Orbe-La Vallée-Echallens à cinq jours d'arrêt avec sursis pour tentative de vol.
- Le 11 mai 1993, le Tribunal de police du district de Morges a reconnu l'intéressé coupable de vol d'usage, circulation sans permis de conduire, violation grave des règles de la circulation routière et violation des devoirs en cas d'accident.
- Le 10 août 1999, le Tribunal correctionnel du district de Morges a condamné X._ à dix-huit mois d'emprisonnement avec sursis, sous déduction deux cent douze jours de détention préventive, ainsi qu'à l'expulsion du territoire suisse avec sursis pendant trois ans pour vol en bande, vol par métier et violation de domicile (infractions commises en mai et août 1997).
- Le 7 juin 2007, le Tribunal correctionnel de l'arrondissement de La Côte a condamné X._ à cinq ans de réclusion, sous déduction de cinq cent huit jours de détention préventive, pour faux dans les certificats, infraction au droit des étrangers, lésions corporelles simples et brigandage qualifié. Ce jugement contient le texte suivant:
"(...) La culpabilité de X._ est écrasante. Cet individu, intégré en Suisse, marié et père de famille, au bénéfice d'un travail régulier et d'une situation financière normale accroît ses revenus en commettant non plus de simples vols comme ceux qui lui ont valu d'être condamné en 1999 à une peine avec sursis, mais des agressions caractérisées, avec armes dangereuses, par pur appât du gain. Cette gradation dans la délinquance démontre une mentalité profondément malhonnête, axée sur le profit obtenu à tout prix, et au mépris non seulement, désormais, du bien d'autrui, mais aussi de la santé physique et psychique des victimes. La préventive subie en 1998, pendant plus de sept mois n'a guère impressionné l'accusé. L'épisode des passeports démontre aussi que l'accusé est lié avec des trafiquants d'un certain niveau, ce qui confirme l'impression décrite ci-dessus. Les brigandages ont été commis avec un certain degré d'organisation; ils ne peuvent être assimilés à des initiatives subites (...). Mis devant ces faits d'une gravité accablante, l'accusé ment, change de versions, répond quand ça l'arrange, ergote, invente et n'assume rien. (...). Le fait de couvrir un ou des complices qui ne peuvent être que des malfaiteurs chevronnés, n'excuse absolument rien, mais révèle au contraire une mentalité de délinquant d'un niveau certain. A décharge, on ne trouve rien, strictement rien. Les vagues regrets exprimés aux débats (...) sonnent singulièrement faux, après une instruction relativement poussée et rendue plus difficile par l'attitude foncièrement détestable de X._ (...)."
Par arrêt du 24 septembre 2007, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a libéré l'intéressé de l'infraction de lésions corporelles simples, maintenant les autres chefs d'accusation et réduisant la peine privative de liberté à quatre ans et huit mois, sous déduction de cinq cent huit jours de détention préventive.
C. Par décision du 10 septembre 2008, le Chef du Département de l'intérieur du canton de Vaud (ci-après: le Chef du Département de l'intérieur) a décidé de "révoquer l'autorisation d'établissement de X._, de prononcer son renvoi de Suisse et de lui impartir un délai immédiat pour quitter la Suisse, dès qu'il aura satisfait à la justice vaudoise".
Le 24 février 2009, le juge d'application des peines a prononcé la libération conditionnelle de X._. Il ressort notamment du jugement que, lors de l'audition par ce magistrat de l'intéressé, celui-ci avait affiché une attitude qui "dénote non seulement une absence totale d'amendement, mais également une incapacité à se remettre en question" et que "dans ces circonstances, le pronostic qu'il convient de formuler quant au comportement futur de X._ ne peut qu'être particulière réservé". Le juge d'application des peines mentionnait toutefois qu'il existait également des éléments propres à relativiser l'impression défavorable créée par les antécédents de X._ et que les propos tenus par celui-ci, lors de l'élaboration du plan d'exécution de la sanction, "témoignent en définitive du fait que l'exécution de ses peines ne l'a pas laissé indifférent". Le juge d'application des peines relevait encore une certaine prise de conscience de la part de X._ des conséquences pénales de ses actes. Il formulait également l'espoir que "la perspective de devoir purger un solde de peine relativement longue en cas de réintégration exercera un certain effet dissuasif sur l'intéressé", et relevait que celui-ci avait "adopté un comportement adéquat tout au long de l'exécution de sa peine" et qu'il avait montré de très bonnes dispositions au travail.
Par arrêt du 2 mars 2010, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._, après avoir pris connaissance de différents documents versés à la procédure, à savoir la liste des visites en prison de son épouse et de ses trois enfants, le témoignage de celle-ci, ainsi que celui d'une maman de jour et deux certificats médicaux mettant en évidence l'importance que la présence du père a pour le développement de ses enfants, spécialement du plus jeune d'entre eux.
D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'admettre son recours et de réformer l'arrêt du 2 mars 2010 du Tribunal cantonal en ce sens que la décision du 10 septembre 2008 du Chef du Département de l'intérieur est annulée et que son autorisation d'établissement n'est pas révoquée, subsidiairement, d'annuler l'arrêt du 2 mars 2010 et de lui octroyer une autorisation de séjour et, plus subsidiairement, de renvoyer la cause à l'autorité cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants.
Appelés à se prononcer sur le recours, le Service de la population du canton de Vaud (ci-après: le Service de la population) et le Chef du Département de l'intérieur ont renoncé à se déterminer. Le Tribunal cantonal se réfère aux considérants de l'arrêt attaqué, alors que l'Office fédéral des migrations a conclu à son rejet.
Par ordonnance du 22 avril 2010, le Président de la IIe Cour de droit public a accepté la demande d'effet suspensif.

Considérant en droit:
1. 1.1 Titulaire d'une autorisation d'établissement qui, sans la révocation, déploierait toujours ses effets, le recourant a un droit à cette autorisation, de sorte que son recours échappe au motif d'irrecevabilité prévu à l'art. 83 let. c ch. 2 LTF (cf. arrêt 2C_98/2009 du 10 juin 2009 consid. 1.1). La voie du recours en matière de droit public est donc en principe ouverte.
1.2 Dirigé contre un arrêt final (art. 90 LTF), rendu dans une cause de droit public (art. 82 let. a LTF) par une autorité judiciaire cantonale supérieure de dernière instance (art. 86 al. 1 let. d et al. 2 LTF), le recours a en outre été déposé dans le délai prévu par la loi (art. 100 al. 1 LTF) et dans les formes prescrites (art. 42 LTF), par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (art. 89 al. 1 LTF). Il convient donc d'entrer en matière.
1.3 La requête de mesures provisionnelles (art. 104 LTF) formée par le recourant, qui tend à ce qu'il puisse résider et travailler sur le territoire suisse, se confond avec la demande d'effet suspensif. Dans la mesure où celle-ci a été admise par ordonnance du 22 avril 2010 du Président de la IIe Cour de droit public, elle est devenue sans objet.
2. Le recourant se plaint, en premier lieu, de la violation de l'art. 12 de la Convention du 20 novembre 1989 relative aux droits de l'enfant (ci-après: CDE; RS 0.107). Il considère que les premiers juges ne pouvaient écarter l'audition de ses enfants au motif que ceux-ci se seraient exprimés au travers d'un représentant, en l'occurrence leur père.
2.1 L'art. 12 CDE est une norme directement applicable, dont le recourant peut soulever la violation devant le Tribunal fédéral (cf. art. 95 let. b LTF; <ref-ruling> consid. 3a p. 91 s., confirmé en matière de droit des étrangers in <ref-ruling> consid. 3c p. 368). Il ressort de son alinéa 1 que les Etats parties garantissent à l'enfant qui est capable de discernement le droit d'exprimer librement son opinion sur toute question l'intéressant. Pour sa part, l'art. 12 al. 2 CDE prévoit que les enfants peuvent être entendus soit directement, soit par l'intermédiaire d'un représentant ou d'un organisme approprié, de façon compatible avec les règles de procédure de la législation nationale.
Lorsque la procédure est essentiellement écrite, comme en matière de droit des étrangers, la CDE n'impose pas obligatoirement que l'enfant soit entendu personnellement et oralement, à condition, toutefois, que son point de vue puisse s'exprimer de façon appropriée, c'est-à-dire soit par une déclaration écrite de l'enfant lui-même, soit par l'intermédiaire d'un représentant (cf. <ref-ruling> consid. 4.8 p. 86 ss; <ref-ruling> consid. 3c p. 368). Selon la jurisprudence en matière de droit des étrangers, la représentation des enfants peut se faire par l'intermédiaire du ou des parents parties à la procédure, à condition que ceux-ci fassent suffisamment valoir les intérêts propres à leurs enfants (notamment, arrêt 2C_372/2008 du 25 septembre 2008 consid. 2). La justification en est que, dans ces situations et contrairement à ce qui peut se produire, par exemple, dans une procédure de divorce ou de séparation, les intérêts des deux parents et ceux de l'enfant coïncident (cf. arrêts 2C_746/2009 du 16 juin 2010 consid. 4.1 et 2A.615/2005 du 14 mars 2006 consid. 4).
2.2 Certains auteurs considèrent que l'interprétation de l'art. 12 CDE par le Tribunal fédéral en matière de droit des étrangers est trop restrictive, en particulier parce qu'elle admet de manière générale la représentation parentale (cf. ALEXANDRA RUMO-JUNGO/MARC SPESCHA, Kindeswohl, Kindesanhörung und Kindeswille in ausländerrechtlichen Kontexten, PJA 2009 p. 1107 note 26; NICCOLÒ RASELLI et al., in Ausländerrecht, 2e éd. 2009, p. 752 n. 16.12; PATRICK SUTTER, Das Anhörungsrecht des Kindes in ausländerrechtlichen Bewilligungsverfahren, PJA 2006 p. 1077 s.). Il n'y a pas lieu d'entrer plus avant dans cette problématique, car lorsque, comme en l'espèce, un membre d'une famille est frappé d'une mesure d'éloignement, les intérêts des parents et des enfants à ne pas être séparés coïncident a priori (cf. ég. arrêt 2C_746/2009 du 16 juin 2010 consid. 4). Dans ce cas, la représentation parentale est admissible pour autant que la procédure démontre que le ou les parents parties ont suffisamment fait valoir les intérêts propres à leurs enfants, comme déjà exposé. Cette interprétation de l'art. 12 CDE ne va du reste pas à l'encontre de la position émise par le Comité des droits de l'enfant des Nations Unies, qui reconnaît que le représentant le plus évident de l'enfant est le ou les parents, tout en soulignant les risques de conflit d'intérêts (Comité des droits de l'enfant, Nations Unies, Observation générale n° 12 [2009], Le droit de l'enfant d'être entendu, p. 10 n. 36).
2.3 En l'espèce, il a été constaté que la situation des enfants vis-à-vis de leur père avait été décrite de manière précise dans les rapports joints au dossier et dans le témoignage écrit de l'épouse du recourant du 2 janvier 2009. A cela s'ajoute que les intérêts de l'enfant allant dans le même sens que ceux de leur père, les déclarations de ce dernier relatives à l'intérêt à la poursuite de la communauté familiale valent aussi pour ses enfants. Au demeurant, le recourant n'indique pas ce que l'audition de ses enfants aurait pu révéler de déterminant qui ne figurerait pas déjà à la procédure. Aucun élément ne permet de conclure que le recourant n'aurait pas suffisamment fait valoir les intérêts de ses enfants. Partant, le refus du Tribunal cantonal d'entendre ceux-ci ne s'avère pas contraire à l'art. 12 CDE.
3. Le recourant soutient que l'arrêt attaqué est contraire à la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20) et à l'Accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681, entré en vigueur le 1er juin 2002), spécialement en ce qu'il procède à une mauvaise pesée des intérêts en présence. Il considère également qu'il méconnaît l'art. 8 CEDH. Le présent considérant traitera de la violation alléguée de la LEtr et de l'art. 8 CEDH, eu égard à l'identité des motifs soulevés à leur encontre.
3.1 La procédure concernant la révocation de l'autorisation d'établissement litigieuse a été initiée par le Service de la population le 18 mars 2008. La loi fédérale sur les étrangers, entrée en vigueur le 1er janvier 2008, est donc applicable (cf. art. 126 LEtr). A cet égard, il importe peu que l'autorisation révoquée ait été délivrée sous l'ancien droit (arrêt 2C_635/2009 du 26 mars 2010 consid. 2).
3.1 La procédure concernant la révocation de l'autorisation d'établissement litigieuse a été initiée par le Service de la population le 18 mars 2008. La loi fédérale sur les étrangers, entrée en vigueur le 1er janvier 2008, est donc applicable (cf. art. 126 LEtr). A cet égard, il importe peu que l'autorisation révoquée ait été délivrée sous l'ancien droit (arrêt 2C_635/2009 du 26 mars 2010 consid. 2).
3.2 3.2.1 Selon l'art. 63 al. 2 LEtr, l'autorisation d'établissement d'un étranger qui séjourne en Suisse légalement et sans interruption depuis plus de quinze ans ne peut être révoquée que pour les motifs mentionnés, notamment, à l'art. 62 let. b LEtr. Aux termes de cette dernière disposition, l'autorité peut révoquer une autorisation de séjour lorsque l'étranger a été condamné à une peine privative de liberté de longue durée ou a fait l'objet d'une mesure pénale prévue aux art. 64 ou 61 du code pénal. Selon la jurisprudence, une peine privative de liberté est considérée comme de longue durée lorsqu'elle dépasse un an d'emprisonnement (<ref-ruling> consid. 4.2 p. 379 ss), indépendamment du fait qu'elle ait été prononcée avec un sursis complet ou partiel, respectivement sans sursis (arrêt 2C_515/2009 du 27 janvier 2010 consid. 2.1).
En l'espèce, la peine privative de liberté infligée au recourant a été de quatre ans et huit mois sous déduction de cinq cent huit jours de détention préventive. La limite d'un an qu'indique la jurisprudence est donc largement dépassée. Cette condamnation constitue donc, à elle seule, un motif de révocation de l'autorisation d'établissement au sens de l'art. 63 al. 2 LEtr.
3.2.2 Même lorsqu'un motif de révocation de l'autorisation est réalisé, le prononcé de la révocation ne se justifie que si la pesée des intérêts à effectuer dans le cas d'espèce fait apparaître la mesure comme proportionnée aux circonstances (<ref-ruling> consid. 4.3 p. 381). Il convient de prendre en considération, dans la pesée des intérêts publics et privés en présence, la gravité de la faute commise par l'étranger, son degré d'intégration respectivement la durée de son séjour en Suisse et le préjudice que l'intéressé et sa famille auraient à subir en raison de la mesure (cf. art. 96 al. 1 LEtr; <ref-ruling> consid. 4.3 p. 381). Quand la révocation se fonde sur la commission d'une infraction, la peine infligée par le juge pénal est le premier critère servant à évaluer la gravité de la faute et à procéder à la pesée des intérêts en présence (arrêts 2C_651/2009 du 1er mars 2010 consid. 4.2 et 2C_418/2009 du 30 novembre 2009 consid. 4.1). Le type de biens juridiques auquel le délinquant a porté atteinte, comme les moyens utilisés à cette occasion, sont également des éléments à prendre en considération.
3.2.3 Le droit au respect de la vie privée et familiale garanti par l'art. 8 par. 1 CEDH n'est pas absolu. Une ingérence est possible selon l'art. 8 par. 2 CEDH, pour autant qu'elle soit prévue par la loi et qu'elle constitue une mesure qui, dans une société démocratique, est nécessaire à la sécurité nationale, à la sûreté publique, au bien-être économique du pays, à la défense de l'ordre et à la prévention des infractions pénales, à la protection de la santé ou de la morale ou à la protection des droits et libertés d'autrui. A l'instar des art. 62 et 63 LEtr, l'art. 8 par. 2 CEDH suppose une pesée des intérêts et l'examen de la proportionnalité de la mesure (cf. <ref-ruling> consid. 4.3 p. 381).
Le recourant ne s'y trompe pas, reprenant de manière quasi identique sous l'angle de l'art. 8 par. 2 CEDH, les griefs formulés à l'encontre de la pesée des intérêts effectuée sous l'angle du droit interne. Il convient donc de traiter ensemble ces critiques.
Le recourant ne s'y trompe pas, reprenant de manière quasi identique sous l'angle de l'art. 8 par. 2 CEDH, les griefs formulés à l'encontre de la pesée des intérêts effectuée sous l'angle du droit interne. Il convient donc de traiter ensemble ces critiques.
3.3 3.3.1 Le recourant reproche au Tribunal cantonal de n'avoir pas assez tenu compte, lors de la pesée des intérêts, des éléments à sa décharge, notamment du rapport du juge d'application des peines, de son bon comportement lors de l'exécution de sa peine et, depuis sa libération conditionnelle, de la durée de son séjour en Suisse, du fait que ses enfants sont nés et ont toujours vécu en Suisse, ainsi que de l'absence de risque de récidive.
3.3.2 Contrairement à ce qui est ainsi allégué dans le recours, le Tribunal cantonal a pris soin d'intégrer tous ces éléments à l'appréciation qu'il devait effectuer. Ces éléments positifs ne peuvent pourtant que passer au second plan au regard de l'activité criminelle déployée par le recourant lors de son séjour en Suisse et au vu de la mentalité de celui-ci. Les passages du jugement du Tribunal correctionnel de l'arrondissement de La Côte du 7 juin 2007, motivant la peine de cinq ans de réclusion (réduite ultérieurement à quatre ans et huit mois) ont été partiellement reproduits ci-dessus. Ils démontrent le caractère du recourant qui "ment, change de versions, répond quand ça l'arrange, ergote, invente et n'assume rien". Ce tableau, complété par le rapport du juge d'application des peines, a permis au Tribunal cantonal de mettre en évidence une attitude qui "dénote non seulement une absence totale d'amendement, mais également une incapacité à se remettre en question". Face à de tels faits, les circonstances mises en évidence par le recourant, qui ont également été prises en considération par le Tribunal cantonal, ne permettaient pas d'aboutir à un autre résultat que la révocation de l'autorisation d'établissement. Il en va d'autant plus ainsi que le recourant passe sous silence, dans ses développements, le fait qu'il est de nationalité française et qu'un établissement dans cet Etat voisin, dont toute la famille parle la langue, n'aurait aucunement l'effet d'un déracinement mis en évidence s'agissant d'un retour au Kosovo. Pour le reste, il peut être renvoyé à la motivation convaincante du jugement entrepris (art. 109 al. 3 LTF), le grief de violation du droit fédéral et de l'art. 8 CEDH devant dès lors être rejeté.
4. 4.1 La particularité de la présente cause tient en ceci que le recourant est double national, kosovar et français. La nationalité française lui confère le droit de se prévaloir de l'ALCP.
4.2 En vertu de l'art. 5 al. 1 de l'annexe I ALCP, le droit de séjour octroyé par une disposition de l'Accord ne peut être limité que par des mesures justifiées par des raisons d'ordre public, de sécurité publique et de santé publique. Conformément à la jurisprudence de la Cour de justice, les limites posées au principe de la libre circulation des personnes doivent s'interpréter de manière restrictive. Ainsi, le recours par une autorité nationale à la notion d'ordre public pour restreindre cette liberté suppose, en dehors du trouble de l'ordre social que constitue toute infraction à la loi, l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société (cf. <ref-ruling> consid. 3.2 p. 357; <ref-ruling> consid. 3.4.1 p. 182; <ref-ruling> consid. 7.3 p. 222 et les arrêts cités de la CJCE du 27 octobre 1977 Bouchereau C-30/77 Rec. 1977 p. 1999, points 33-35; du 19 janvier 1999 Calfa C-348/96 Rec. 1999 I-11, points 23 et 25). La seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver de telles mesures. Selon les circonstances, la Cour de justice admet néanmoins que le seul fait du comportement passé de la personne concernée puisse réunir les conditions de pareille menace actuelle (<ref-ruling> consid. 3.2 p. 357; <ref-ruling> consid. 3.4.1 p. 182 ss et l'arrêt précité Bouchereau, point 29). Celles-ci ne supposent en tout cas pas qu'il soit établi avec certitude que l'étranger commettra d'autres infractions à l'avenir; inversement, ce serait aller trop loin que d'exiger que le risque de réci-dive soit nul pour que l'on renonce à une mesure d'ordre public. En réalité, ce risque doit s'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé (cf. <ref-ruling> consid. 3.3 p. 499 s., 176 consid. 4.3.1 p. 185 s.).
4.3 Tout d'abord, ce qui a été dit en relation avec la LEtr et la CEDH peut largement être repris ici. S'agissant plus spécifiquement du risque de récidive, le rapport du juge d'application des peines mettant en évidence l'"absence totale d'amendement, mais également une incapacité à se remettre en question" du recourant est un élément important dans l'appréciation du risque futur qu'il représente. En effet, une telle absence d'amendement, comme l'incapacité de se remettre en question, sont clairement deux traits de caractère qui portent en eux les germes du risque de récidive. Dans de telles circonstances, compte tenu également de la gravité croissante des infractions commises par le recourant depuis 1991 et du fait que celui-ci n'a pas su tirer profit des sursis octroyés en 1991 (cinq jours d'arrêt) et en 1999 (dix-huit mois d'emprisonnement), ni des périodes de détention préventive (deux cent douze jours), le Tribunal cantonal était clairement fondé à formuler un pronostic négatif quant à la réitération de tels actes. Le fait, largement mis en avant dans le recours, que le recourant a une famille n'est, quant à lui, pas nouveau: lors de la commission des infractions, en mai et en août 1997, de vol en bande, vol par métier et violation de domicile, il était déjà marié depuis quatre ans et ses deux premiers enfants avaient déjà quatre et deux ans. C'est dire que l'argument de la vie de famille et du soutien de son épouse, tous susceptibles de le dissuader d'actes criminels futurs, n'est, en définitive, que de peu de poids.
Le grief relatif à la violation de l'ALCP doit donc également être rejeté.
5. A titre subsidiaire, le recourant soutient qu'il serait "loisible" de lui accorder une ultime et dernière chance en lui octroyant une autorisation de séjour.
Ce faisant, il perd de vue qu'il remplit non seulement les motifs d'une révocation de l'autorisation d'établissement, mais aussi de l'autorisation de séjour (art. 62 let. b LEtr), de sorte que l'on ne voit pas ce qui justifierait de lui accorder une telle autorisation. Au demeurant, l'existence d'un motif de révocation au sens de l'art. 62 LEtr a également pour effet d'éteindre les droits du recourant au regroupement familial découlant de l'art. 43 LEtr (cf. art. 51 al. 2 let. b LEtr). Partant, la conclusion subsidiaire du recourant tendant à l'octroi d'une autorisation de séjour ne repose sur aucun fondement juridique et doit être rejetée (cf. arrêt 2C_746/2009 du 16 juin 2010 consid. 6).
6. Compte tenu de ce qui précède, le recours doit être rejeté. Les frais judiciaires sont mis à la charge du recourant (art. 66 al. 1 LTF), qui succombe. Il n'est pas alloué de dépens (art. 68 al. 3 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Chef du Département de l'intérieur, au Service de la population et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des migrations.
Lausanne, le 11 octobre 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Kurtoglu-Jolidon