Faits: A. X._, né en 1973 et qui a la double nationalité française et kosovare, est arrivé en Suisse en novembre 1990 comme demandeur d'asile. Sa demande a été rejetée. Durant la procédure de recours auprès de la Commission suisse en matière d'asile, il a requis un permis B à la suite de son mariage, le 21 juillet 1993, avec une ressortissante suisse, Y._. Son recours en matière d'asile a, dès lors, été retiré. L'autorisation de séjour ainsi obtenue du fait de son mariage a été régulièrement renouvelée depuis 1993. Après un premier refus de lui délivrer un permis d'établissement (permis C), le 6 juillet 1999, ce permis lui a finalement été remis le 3 juin 2003. De son union avec Y._ sont nés trois enfants, à savoir A._, en 1993, B._, en 1995 et C._, en 2005. D'un point de vue professionnel, X._ a travaillé tout d'abord comme manoeuvre, avant de connaître une période de chômage puis d'être incarcéré durant cinq mois. Dès 1999, il s'est installé comme jardinier indépendant. B. Outre qu'il a fait l'objet de toute une série de rapports de la police cantonale, respectivement de la police judiciaire de Lausanne et de la gendarmerie, X._ a subi les condamnations suivantes: - Le 7 octobre 1991, il a été condamné par ordonnance du juge informateur de l'arrondissement d'Orbe-La Vallée-Echallens à cinq jours d'arrêt avec sursis pour tentative de vol. - Le 11 mai 1993, le Tribunal de police du district de Morges a reconnu l'intéressé coupable de vol d'usage, circulation sans permis de conduire, violation grave des règles de la circulation routière et violation des devoirs en cas d'accident. - Le 10 août 1999, le Tribunal correctionnel du district de Morges a condamné X._ à dix-huit mois d'emprisonnement avec sursis, sous déduction deux cent douze jours de détention préventive, ainsi qu'à l'expulsion du territoire suisse avec sursis pendant trois ans pour vol en bande, vol par métier et violation de domicile (infractions commises en mai et août 1997). - Le 7 juin 2007, le Tribunal correctionnel de l'arrondissement de La Côte a condamné X._ à cinq ans de réclusion, sous déduction de cinq cent huit jours de détention préventive, pour faux dans les certificats, infraction au droit des étrangers, lésions corporelles simples et brigandage qualifié. Ce jugement contient le texte suivant: "(...) La culpabilité de X._ est écrasante. Cet individu, intégré en Suisse, marié et père de famille, au bénéfice d'un travail régulier et d'une situation financière normale accroît ses revenus en commettant non plus de simples vols comme ceux qui lui ont valu d'être condamné en 1999 à une peine avec sursis, mais des agressions caractérisées, avec armes dangereuses, par pur appât du gain. Cette gradation dans la délinquance démontre une mentalité profondément malhonnête, axée sur le profit obtenu à tout prix, et au mépris non seulement, désormais, du bien d'autrui, mais aussi de la santé physique et psychique des victimes. La préventive subie en 1998, pendant plus de sept mois n'a guère impressionné l'accusé. L'épisode des passeports démontre aussi que l'accusé est lié avec des trafiquants d'un certain niveau, ce qui confirme l'impression décrite ci-dessus. Les brigandages ont été commis avec un certain degré d'organisation; ils ne peuvent être assimilés à des initiatives subites (...). Mis devant ces faits d'une gravité accablante, l'accusé ment, change de versions, répond quand ça l'arrange, ergote, invente et n'assume rien. (...). Le fait de couvrir un ou des complices qui ne peuvent être que des malfaiteurs chevronnés, n'excuse absolument rien, mais révèle au contraire une mentalité de délinquant d'un niveau certain. A décharge, on ne trouve rien, strictement rien. Les vagues regrets exprimés aux débats (...) sonnent singulièrement faux, après une instruction relativement poussée et rendue plus difficile par l'attitude foncièrement détestable de X._ (...)." Par arrêt du 24 septembre 2007, la Cour de cassation pénale du Tribunal cantonal du canton de Vaud a libéré l'intéressé de l'infraction de lésions corporelles simples, maintenant les autres chefs d'accusation et réduisant la peine privative de liberté à quatre ans et huit mois, sous déduction de cinq cent huit jours de détention préventive. C. Par décision du 10 septembre 2008, le Chef du Département de l'intérieur du canton de Vaud (ci-après: le Chef du Département de l'intérieur) a décidé de "révoquer l'autorisation d'établissement de X._, de prononcer son renvoi de Suisse et de lui impartir un délai immédiat pour quitter la Suisse, dès qu'il aura satisfait à la justice vaudoise". Le 24 février 2009, le juge d'application des peines a prononcé la libération conditionnelle de X._. Il ressort notamment du jugement que, lors de l'audition par ce magistrat de l'intéressé, celui-ci avait affiché une attitude qui "dénote non seulement une absence totale d'amendement, mais également une incapacité à se remettre en question" et que "dans ces circonstances, le pronostic qu'il convient de formuler quant au comportement futur de X._ ne peut qu'être particulière réservé". Le juge d'application des peines mentionnait toutefois qu'il existait également des éléments propres à relativiser l'impression défavorable créée par les antécédents de X._ et que les propos tenus par celui-ci, lors de l'élaboration du plan d'exécution de la sanction, "témoignent en définitive du fait que l'exécution de ses peines ne l'a pas laissé indifférent". Le juge d'application des peines relevait encore une certaine prise de conscience de la part de X._ des conséquences pénales de ses actes. Il formulait également l'espoir que "la perspective de devoir purger un solde de peine relativement longue en cas de réintégration exercera un certain effet dissuasif sur l'intéressé", et relevait que celui-ci avait "adopté un comportement adéquat tout au long de l'exécution de sa peine" et qu'il avait montré de très bonnes dispositions au travail. Par arrêt du 2 mars 2010, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a rejeté le recours de X._, après avoir pris connaissance de différents documents versés à la procédure, à savoir la liste des visites en prison de son épouse et de ses trois enfants, le témoignage de celle-ci, ainsi que celui d'une maman de jour et deux certificats médicaux mettant en évidence l'importance que la présence du père a pour le développement de ses enfants, spécialement du plus jeune d'entre eux. D. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, principalement, d'admettre son recours et de réformer l'arrêt du 2 mars 2010 du Tribunal cantonal en ce sens que la décision du 10 septembre 2008 du Chef du Département de l'intérieur est annulée et que son autorisation d'établissement n'est pas révoquée, subsidiairement, d'annuler l'arrêt du 2 mars 2010 et de lui octroyer une autorisation de séjour et, plus subsidiairement, de renvoyer la cause à l'autorité cantonale pour nouvelle instruction et nouvelle décision dans le sens des considérants. Appelés à se prononcer sur le recours, le Service de la population du canton de Vaud (ci-après: le Service de la population) et le Chef du Département de l'intérieur ont renoncé à se déterminer. Le Tribunal cantonal se réfère aux considérants de l'arrêt attaqué, alors que l'Office fédéral des migrations a conclu à son rejet. Par ordonnance du 22 avril 2010, le Président de la IIe Cour de droit public a accepté la demande d'effet suspensif.