Faits:
A. Ressortissant français né en 1955, X._ est entré en Suisse en juin 2009. Il a alors demandé une autorisation de séjour CE/AELE pour l'exercice d'une activité lucrative de plus de trois mois dans le canton de Vaud, en tant que Directeur du développement dans une société anonyme. Le 13 août 2009, il s'est vu délivrer l'autorisation requise, valable jusqu'au 14 juin 2014.
A la suite d'un contrôle de police relatif à l'identité et aux antécédents de X._, il est apparu que l'intéressé était défavorablement connu en France en raison d'infractions commises à Paris entre 1993 et 2006 (abus de biens sociaux, banqueroute, fraude fiscale, trafic de stupéfiants). Il avait pourtant affirmé n'avoir pas fait l'objet d'une condamnation en Suisse ou à l'étranger lorsqu'il avait annoncé son arrivée à A._. Interpellé à ce sujet, X._ a fait valoir qu'aucune condamnation ne figurait sur le bulletin n° 3 de son casier judiciaire, qu'il a du reste produit.
En réalité, il ressort du bulletin n° 2 du casier judiciaire de l'intéressé que celui-ci a fait l'objet de trois condamnations pénales:
- le 30 avril 1997, il a été condamné à 50'000 fr. français d'amende pour banqueroute (détournement ou dissimulation de tout ou partie de l'actif) entre 1990 et 1991;
- le 1er décembre 2003, il s'est vu infliger une peine de dix mois d'emprisonnement avec sursis - révoqué par la suite - et 10'000 euros d'amende pour différents délits fiscaux commis entre 1998 et 1999;
- le 22 juin 2006, il a été condamné à deux ans d'emprisonnement, sanction confirmée le 28 novembre 2006, pour transport, détention, offre ou cession, acquisition et emploi non autorisés de stupéfiants ainsi que pour détention sans autorisation d'arme ou munition, délits commis entre 2005 et 2006.
Ce document fait aussi état d'un jugement civil du 19 mai 2000 confirmant une décision de faillite personnelle pendant dix ans.
Par décision du 2 juillet 2010, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a révoqué l'autorisation de séjour CE/AELE de X._ et prononcé son renvoi, en lui impartissant un délai de trois mois pour quitter la Suisse. Il s'est fondé sur la gravité des condamnations pénales encourues par l'intéressé et sur la fausseté de ses déclarations à ce sujet.
B. Par arrêt du 22 octobre 2010, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours de X._ contre la décision du Service cantonal du 2 juillet 2010 et confirmé ladite décision.
C. Le 23 novembre 2010, X._ a déposé au Tribunal fédéral un recours en matière de droit public contre l'arrêt du Tribunal cantonal du 22 octobre 2010. Il conclut, sous suite de frais et dépens, principalement, à l'annulation de la décision du Service cantonal du 2 juillet 2010 et au renvoi de la cause au Tribunal cantonal pour nouvelle décision sur les frais et dépens de la procédure cantonale et, subsidiairement, à l'annulation de l'arrêt attaqué et au renvoi de la cause au Tribunal cantonal pour nouvelle instruction et nouvelle décision dans le sens des considérants.
Le Tribunal cantonal et le Service cantonal ont renoncé à se déterminer sur le recours.
L'Office fédéral des migrations n'a pas déposé d'observations sur le recours dans le délai imparti à cet effet.
D. Par ordonnance du 25 novembre 2010, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif contenue dans le recours.

Considérant en droit:
1. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 43 et la jurisprudence citée).
1.1 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions relatives à une autorisation de droit des étrangers à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Etant de nationalité française, le recourant peut se prévaloir de l'accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses Etats membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681) qui confère en principe aux ressortissants des Etats membres de la Communauté européenne et de la Suisse le droit d'entrer sur le territoire d'une autre partie contractante (art. 1 let. a et 3 ALCP) ainsi que le droit de séjourner et d'accéder à la vie économique sous réserve des dispositions de l'<ref-law> et conformément aux dispositions de l'annexe I ALCP (art. 1 let. a et 4 ALCP). Selon l'art. 2 al. 2 de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20), la LEtr ne s'applique aux ressortissants des Etats membres de la Communauté européenne que lorsque l'ALCP n'en dispose pas autrement ou lorsque la LEtr prévoit des dispositions plus favorables. Tel n'est pas le cas en l'occurrence. Par conséquent, le présent recours, qui doit être examiné uniquement au regard de l'ALCP ainsi que de ses dispositions d'application, est recevable sous l'angle de l'art. 83 let. c ch. 2 LTF.
1.2 Pour le surplus, en tant qu'il s'en prend à l'arrêt du Tribunal cantonal du 22 octobre 2010, le recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); en outre, il a été déposé en temps utile (<ref-law>) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Par conséquent, il convient d'entrer en matière.
En revanche, dans la mesure où le recourant conteste la décision du Service cantonal du 2 juillet 2010, dont il demande l'annulation, le recours n'est pas recevable en raison de l'effet dévolutif complet du recours déposé auprès du Tribunal cantonal (cf. arrêt 2C_270/2009 du 15 janvier 2010 consid. 2.3, non publié in <ref-ruling>).
2. Saisi d'un recours en matière de droit public, le Tribunal fédéral examine librement la violation du droit fédéral et du droit international (cf. art. 95 let. a et b ainsi que 106 al. 1 LTF), alors qu'il n'examine la violation de droits fondamentaux que si ce grief a été invoqué et motivé par le recourant conformément au principe d'allégation (<ref-law>). Ainsi, lorsque le grief d'arbitraire est soulevé, il appartient au recourant d'expliquer clairement en quoi consiste l'arbitraire (cf. <ref-ruling> consid. 3.1 p. 265 s.; <ref-ruling> consid. 4.1 p. 133). En outre, le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (<ref-law>). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>; cf. aussi <ref-law>). Par ailleurs, l'<ref-law> dispose qu'aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente.
Le recourant produit deux pièces pour la première fois devant l'Autorité de céans: un rapport d'analyses concernant une recherche de produits stupéfiants datant du 26 août 2010 et un avis établi le 19 novembre 2010, soit postérieurement à l'arrêt attaqué, par un avocat parisien. Il s'agit de pièces nouvelles qui sont irrecevables au regard de l'<ref-law>. La question de savoir si la pièce datant du 26 août 2010 aurait dû être requise et prise en compte par le Tribunal cantonal sera examinée en relation avec la violation du droit d'être entendu soulevée par le recourant (cf. infra, consid. 3).
3. Le recourant reproche au Tribunal cantonal d'avoir violé son droit d'être entendu garanti par l'art. 29 al. 2 Cst. en statuant sans tenir compte d'une pièce qu'il se proposait de produire pour prouver son abstinence en matière de drogues ni instruire à ce sujet.
3.1 Le droit d'être entendu garanti constitutionnellement comprend notamment le droit pour l'intéressé de produire des preuves pertinentes, d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes, de participer à l'administration des preuves essentielles ou, à tout le moins, de s'exprimer sur son résultat lorsque cela est de nature à influer sur la décision à rendre (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 3.1 p. 277 et la jurisprudence citée). A lui seul, l'art. 29 al. 2 Cst. ne confère pas le droit d'être entendu oralement (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 2.1 p. 428). Au surplus, la jurisprudence admet que le droit d'être entendu n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude que ces dernières ne pourraient pas l'amener à modifier son opinion (<ref-ruling> consid. 5.3 p. 148; <ref-ruling> consid. 2.1 p. 429).
Par ailleurs, le droit d'être entendu implique pour l'autorité l'obligation de motiver sa décision. Il ne lui impose cependant pas d'exposer et de discuter tous les faits, moyens de preuve et griefs invoqués par les parties; l'autorité peut, au contraire, se limiter à ceux qui, sans arbitraire, lui paraissent pertinents pour fonder sa décision (<ref-ruling> consid. 4.1 p. 88; <ref-ruling> consid. 3.3 p. 445 et la jurisprudence citée). Dès lors que l'on peut discerner les motifs qui ont guidé la décision de l'autorité, le droit à une décision motivée est respecté même si la motivation présentée est erronée (arrêt 2C_223/2009 du 19 octobre 2009 consid. 4.2). La motivation peut pour le reste être implicite et résulter des différents considérants de la décision (arrêt 2C_23/2009 du 25 mai 2009 consid. 3.1, in RDAF 2009 II p. 434).
3.2 Il ressort de l'arrêt entrepris que, par avis du 14 avril 2010, le Service cantonal a fait savoir à X._ qu'il envisageait de révoquer son autorisation de séjour en raison notamment de ses condamnations pénales et lui a donné un délai pour se déterminer à ce propos. Le Service cantonal a révoqué ladite autorisation le 2 juillet 2010. L'intéressé a recouru contre cette décision, le 18 août 2010, auprès du Tribunal cantonal. Il a alors produit un bordereau de pièces indiquant, sous ch. 2, "Une analyse sanguine concernant la recherche de produits stupéfiants. A produire ultérieurement". Le 19 août 2010, le Tribunal cantonal a invité le Service cantonal à lui transmettre son dossier "par le prochain courrier"; le 6 octobre 2010, il a annoncé la composition dans laquelle il statuerait et, le 22 octobre 2010, il a rendu l'arrêt attaqué.
Le recourant, qui savait depuis le milieu du mois d'avril 2010 que son autorisation de séjour risquait d'être révoquée à cause notamment de son passé délictuel et qui prétendait ne plus consommer de produits stupéfiants, n'a pas pris la peine de se soumettre à des analyses afin de prouver son abstinence en matière de drogues assez tôt pour pouvoir en faire état le 18 août 2010, lors du dépôt de son recours cantonal. En outre, alors que lesdites analyses ont été effectuées le 26 août 2010, il n'en a pas transmis immédiatement le résultat aux juges cantonaux. Il lui incombait pourtant, puisqu'il considérait ces analyses comme importantes et qu'il avait annoncé qu'il en fournirait le résultat au Tribunal cantonal, de produire ce document au plus tôt. Le Tribunal cantonal n'avait pas l'obligation de lui fixer un délai à cet effet et il a du reste déclaré que le recourant ne consommait plus de drogues, selon ses dires. Dans ces circonstances, il pouvait procéder sans arbitraire à une appréciation anticipée des preuves et mettre fin à l'instruction, en estimant qu'il s'était forgé sa conviction et que la production du rapport d'analyses relatif à l'abstinence du recourant n'aurait pas d'influence sur son opinion. Par ailleurs, les juges cantonaux ont expliqué au considérant 2b de l'arrêt attaqué pourquoi l'intéressé représentait, à leurs yeux, un danger pour l'ordre public. C'est donc à tort que le recourant se plaint d'une absence de motivation à ce sujet. Ainsi, les moyens que le recourant tire d'une prétendue violation de son droit d'être entendu doivent être rejetés.
4. Le recourant reproche au Tribunal cantonal d'avoir violé l'<ref-law> et la directive 64/221/CEE du Conseil du 25 février 1964 pour la coordination des mesures spéciales aux étrangers en matière de déplacement et de séjour justifiées par des raisons d'ordre public, de sécurité publique et de santé publique (ci-après: la directive 64/221/CEE; JO N° 56 p. 850/64), en estimant qu'il représentait une menace réelle et actuelle pour l'ordre public. Il soutient qu'il a un comportement irréprochable depuis près de cinq ans et qu'il a de nouvelles responsabilités familiales depuis la naissance de son second fils, le 29 décembre 2007. Il fait valoir qu'il n'a pas mentionné ses condamnations pénales lors de son arrivée en Suisse, parce qu'elles ne figuraient pas sur le bulletin n° 3 de son casier judiciaire, et se prévaut de sa bonne foi à ce sujet. Après avoir expliqué comment fonctionne le casier judiciaire français, l'intéressé déduit de l'absence de mention sur le bulletin n° 3 de son casier judiciaire que les autorités françaises considèrent qu'il n'est pas une menace pour la sécurité publique. En outre, le recourant se plaint que l'arrêt attaqué viole le principe de la proportionnalité.
4.1 Selon l'<ref-law>, les droits octroyés par les dispositions de l'ALCP ne peuvent être limités que par des mesures justifiées par des raisons d'ordre public, de sécurité publique et de santé publique (sur la notion d'ordre public, cf. <ref-ruling> consid. 6.2 p. 220 s. et les références). Le cadre et les modalités de ces mesures sont définis notamment par la directive 64/221/CEE, à laquelle se réfère l'<ref-law> (arrêt 2C_547/2010 du 10 décembre 2010 consid. 3). On entend par "mesure", au sens de l'<ref-law> et de la directive 64/221/CEE, tout acte affectant le droit à l'entrée et au séjour (<ref-ruling> consid. 3.1 p. 180 et les références); la révocation d'une autorisation de séjour entre dans cette catégorie.
Dans de nombreux arrêts, le Tribunal fédéral, se fondant en particulier sur les principes dégagés par la jurisprudence de la Cour de justice des Communautés européennes a précisé que la notion d'ordre public permettant de restreindre la liberté de circulation suppose l'existence d'une menace réelle et d'une certaine gravité affectant un intérêt fondamental de la société. L'évaluation de cette menace doit se fonder exclusivement sur le comportement personnel de celui qui en fait l'objet, et non sur des motifs de prévention générale détachés du cas individuel. La seule existence de condamnations pénales (antérieures) ne peut automatiquement motiver des mesures d'éloignement en application de l'ALCP. Les autorités nationales sont tenues de procéder à une appréciation spécifique, portée sous l'angle des intérêts inhérents à la sauvegarde de l'ordre public, qui ne coïncide pas nécessairement avec les appréciations à l'origine des condamnations pénales. Autrement dit, ces dernières ne peuvent être prises en considération que si les circonstances les entourant laissent apparaître l'existence d'une menace actuelle pour l'ordre public (<ref-ruling> consid. 3.4.1, 4.2 et 4.3.1 et les références confirmé notamment in <ref-ruling> consid. 4, arrêt 2C_547/2010 du 10 décembre 2010 consid. 3). Cela pourra être admis en particulier pour les multirécidivistes qui n'ont pas tiré de leçon de leurs condamnations pénales antérieures (Laurent Merz, Le droit de séjour selon l'ALCP et la jurisprudence du Tribunal fédéral, RDAF 2009 I p. 302; cf. arrêt 2C_447/2008 du 17 mars 2009 consid. 5.3). En réalité, le risque de récidive doit s'apprécier en fonction de l'ensemble des circonstances du cas et, en particulier, de la nature et de l'importance du bien juridique menacé ainsi que de la gravité de l'atteinte qui pourrait y être portée. L'évaluation de ce risque sera d'autant plus rigoureuse que le bien juridique menacé est important (<ref-ruling> consid. 4.2 p. 20; <ref-ruling> consid. 3.3 p. 499 s. et les références; cf. aussi arrêt 2C_547/2010 du 10 décembre 2010 consid. 3). En outre, comme lorsqu'il y a lieu d'examiner la conformité d'une mesure d'éloignement prise à l'encontre de n'importe quel autre étranger, cette appréciation se fera dans le respect du principe de la proportionnalité. Il s'agira donc de procéder à une pesée des intérêts en prenant en considération la situation personnelle de l'intéressé (<ref-ruling> consid. 3.4.2 p. 184, 493 consid. 3.3 p. 500 et les références).
4.2 La dernière condamnation du recourant, à deux ans d'emprisonnement, sanctionne le transport, la détention, l'offre ou la cession ainsi que l'acquisition et l'emploi non autorisés de stupéfiants, de même que la détention sans autorisation d'arme ou munition. L'intéressé a du reste reconnu avoir écoulé quelque 1,2 kg de cocaïne en six mois, ce qui représente un important trafic de stupéfiants. En droit suisse, de tels faits sont constitutifs d'une infraction grave à l'art. 19 de la loi fédérale du 3 octobre 1951 sur les stupéfiants et les substances psychotropes (loi sur les stupéfiants, LStup; RS 812.121), étant précisé qu'il y a cas grave à partir du moment où le trafic porte sur 18 g de cocaïne pure (<ref-ruling> consid. 2a p. 363 et la jurisprudence citée; arrêt 6B_380/2008 du 4 août 2008 consid. 6.2.2). Il s'agit d'un domaine dans lequel le Tribunal fédéral se montre particulièrement rigoureux (cf. <ref-ruling> consid. 2c p. 436). Dans une jurisprudence constante, il a en effet jugé que la protection de la collectivité publique face au développement du marché de la drogue présentait incontestablement un intérêt public prépondérant justifiant l'éloignement d'un étranger s'étant rendu coupable d'infraction grave à la législation sur les stupéfiants et que les étrangers mêlés au commerce de la drogue devaient donc s'attendre à faire l'objet de mesures d'éloignement (arrêts 2C_325/2010 du 11 octobre 2010 consid. 5.2.3 et 2C_222/2010 du 29 juillet 2010 consid. 7.2). Comme le relève le Tribunal cantonal, la dernière peine infligée au recourant dépasse de loin la limite d'une année à partir de laquelle une peine privative de liberté est considérée comme de longue durée (<ref-ruling> consid. 4.2 p. 381) et peut justifier une révocation d'une autorisation de police des étrangers en vertu de l'art. 62 let. b LEtr.
En outre, comme les juges cantonaux l'ont retenu, le recourant a fait au total l'objet de trois condamnations pénales d'une certaine importance (50'000 fr. français d'amende, puis dix mois d'emprisonnement accompagnés d'une amende de 10'000 euros et, enfin, deux ans d'emprisonnement) pour des délits espacés dans le temps, puisqu'ils ont été commis respectivement en 1990 et 1991, en 1998 et 1999 ainsi qu'en 2005 et 2006. Cela montre que le recourant a poursuivi des activités délictueuses durant plus de quinze ans. Certes, il se prévaut d'un comportement irréprochable depuis environ cinq ans, mais il ne faut pas oublier que, durant ce laps de temps, il a purgé une peine de prison, ce qui le protégeait de certaines tentations. Dans ces conditions, le Tribunal cantonal pouvait estimer que le temps qui s'était écoulé depuis la sortie de prison de l'intéressé n'était pas suffisamment long pour qu'on puisse considérer qu'il avait changé durablement d'attitude, au point de ne plus représenter une menace actuelle et réelle pour l'ordre public. De plus, on peut douter que les nouvelles responsabilités paternelles invoquées par le recourant le détourneront de toute activité délictuelle, puisque la naissance de son premier enfant n'a pas eu d'effet dissuasif de cet ordre.
4.3 Même si, au regard de l'ALCP, faire de fausses déclarations ne constitue pas une cause de révocation de l'autorisation de séjour, contrairement à ce que prévoit le droit suisse à l'art. 62 let. a LEtr, cette attitude peut selon le contexte être prise en compte dans l'évaluation du comportement personnel de l'intéressé. L'impact d'une fausse déclaration dépend de ce qu'on a voulu cacher. Suivant les circonstances, la dissimulation ainsi effectuée peut être considérée comme un indice en faveur de l'existence d'une menace actuelle et réelle pour l'ordre public. Il ressort de l'arrêt entrepris que le recourant a déclaré qu'il n'avait pas fait l'objet d'une condamnation en Suisse ou à l'étranger, lorsqu'il a annoncé son arrivée dans le canton de Vaud en juin 2009. Appelé par la suite à s'expliquer sur cette réponse, l'intéressé avait produit le bulletin n° 3 de son casier judiciaire français qui ne mentionnait aucune condamnation et il avait précisé qu'il avait jugé inutile d'indiquer des condamnations qui ne figuraient pas sur cet extrait de son casier judiciaire. Il avait également donné des explications détaillées sur le fonctionnement du casier judiciaire français, comprenant plusieurs bulletins. Le Tribunal cantonal les a résumées ainsi: le casier judiciaire français comprend plusieurs bulletins, le bulletin n° 2 contient de nombreuses informations utiles notamment en droit des étrangers et le bulletin n° 3, qui peut être requis par l'employeur, est épuré. Les juges cantonaux ont relevé que la question qui avait été posée au recourant portait sur l'existence de condamnations prononcées à son encontre en Suisse ou à l'étranger et non pas sur les mentions figurant dans son casier judiciaire. Dans ces circonstances, on ne peut leur reprocher d'avoir douté de la bonne foi dont se prévalait l'intéressé. On ajoutera qu'en taisant toutes ses condamnations pénales, le recourant a dissimulé des données essentielles: la gravité des délits qu'il avait commis, notamment en matière de trafic de stupéfiants, ainsi que ses antécédents de récidiviste. Or, la connaissance de ces éléments était déterminante dans la procédure d'octroi d'une autorisation de séjour CE/AELE.
4.4 Au regard de l'ensemble de ces circonstances, le Tribunal cantonal a estimé à juste titre que l'intéressé constituait une menace réelle et actuelle pour l'ordre public suisse. Cette conclusion est conforme à la jurisprudence rappelée ci-dessus (cf. consid. 4.1). C'est donc à tort que le recourant se plaint de violation de l'<ref-law> et de la directive 64/221/CEE.
4.5 Reste à examiner si l'arrêt attaqué respecte le principe de la proportionnalité. Les juges cantonaux ont retenu que le recourant résidait en Suisse depuis un peu plus d'une année (environ seize mois) parce qu'il avait dissimulé ses condamnations pénales et ils ont considéré qu'il ne s'agissait manifestement pas d'un séjour d'une longue durée. Ils ont relevé que l'intéressé ne pouvait pas se prévaloir d'une intégration socio-professionnelle particulière en Suisse et qu'étant en bonne santé, il pourrait trouver du travail et entretenir sa famille en France, son pays. La pesée des intérêts effectuée par le Tribunal cantonal n'est pas critiquable, de sorte qu'il faut rejeter le grief de violation du principe de la proportionnalité.
5. Au vu de ce qui précède, il y a lieu de rejeter le recours dans la mesure où il est recevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 7 avril 2011
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz