Faits:
A. Ressortissant camerounais né en 1970, A.X._ a épousé, en 2004, B._, ressortissante française titulaire d'une autorisation d'établissement en Suisse. Le 11 septembre 2005, il est arrivé en Suisse avec trois de ses cinq enfants nés d'une précédente union respectivement en avril 1998, septembre 1999 et mai 2002. Le 23 septembre 2005, A.X._ a obtenu, au titre du regroupement familial, une autorisation de séjour CE/AELE valable jusqu'au 10 septembre 2010. Les trois enfants précités sont retournés au Cameroun en novembre 2006.
Le 21 juin 2007, au cours d'une audition, B.X._ a affirmé qu'elle avait des doutes sur la véracité de son mariage, sans être encore sûre d'avoir été abusée. Elle a en outre dit qu'elle-même et son mari ne faisaient pas réellement ménage commun, mais que le couple se voyait tous les deux à trois mois au Cameroun ou en Suisse. Elle a répété cette dernière déclaration le 14 mai 2008 lors d'une audition au cours de laquelle elle a dit que son mari passait 70% de son temps dans son pays d'origine.
Dans des déterminations du 3 décembre 2007, A.X._ a déclaré qu'il n'était évidemment pas en permanence à la maison, mais généralement en route pour assurer le suivi des projets des époux (création et développement d'une société camerounaise avec succursale en Suisse) et veiller à la protection de leurs intérêts. Il pensait gérer l'ensemble de ses activités à partir de la Suisse depuis 2008.
Le 11 juillet 2008, le Service de la population du canton de Vaud (ci-après: le Service cantonal) a constaté que l'autorisation de séjour CE/AELE de A.X._ avait pris fin en raison du déplacement du centre de ses intérêts au Cameroun. Il était précisé que, dès que l'intéressé souhaiterait reprendre domicile en Suisse, il devrait déposer une demande d'entrée en Suisse. Cette décision n'a été notifiée à A.X._ que le 25 août 2009.
B. Le 22 janvier 2009, B.X._ a écrit à la Direction de l'état civil vaudois, dépendant du Service cantonal, pour demander l'annulation de son mariage. Elle a alors expliqué que son mari avait toujours refusé la vie commune dans les faits. Le couple n'avait jamais passé plus d'un mois d'affilée ensemble et ce, au maximum deux fois dans l'année.
C. Par arrêt du 7 décembre 2009, la Cour de droit administratif et public du Tribunal cantonal vaudois (ci-après: le Tribunal cantonal) a rejeté le recours de A.X._ contre la décision du Service cantonal du 11 juillet 2008 et confirmé ladite décision. Le Tribunal cantonal a considéré que l'autorisation de séjour CE/AELE de l'intéressé avait pris fin, car celui-ci n'avait pas gardé le centre de ses intérêts en Suisse. Les juges cantonaux ont également retenu que le mariage de A.X._ était vidé de sa substance, de sorte que ce dernier ne pouvait plus s'en prévaloir pour obtenir le maintien de son autorisation de séjour CE/AELE.
D. A l'encontre de l'arrêt du Tribunal cantonal du 7 décembre 2009, A.X._ a déposé au Tribunal fédéral un recours en matière de droit public et un recours constitutionnel subsidiaire. Il conclut, sous suite de frais et dépens, à l'annulation de l'arrêt attaqué et, principalement, à ce qu'il soit autorisé à rester sur le territoire helvétique au bénéfice d'une autorisation de séjour annuelle "de type B", subsidiairement, à ce que la cause soit renvoyée au Tribunal cantonal pour nouvelle décision dans le sens des considérants.
Le Tribunal cantonal conclut au rejet du recours. Le Service cantonal a renoncé à se déterminer sur le recours. L'Office fédéral des migrations propose le rejet du recours.
E. Par ordonnance du 27 janvier 2010, le Président de la IIe Cour de droit public a admis la demande d'effet suspensif présentée par le recourant.

Considérant en droit:
1. Le 19 mars 2007, le Service cantonal a demandé à la Police cantonale vaudoise de lui procurer un rapport d'ordre général sur A.X._, après avoir procédé à une enquête et/ou aux auditions d'usage. Ledit rapport a été établi le 21 juin 2007. Le 20 novembre 2007, le Service cantonal a informé l'intéressé qu'il entendait révoquer son autorisation de séjour ainsi que celle de ses enfants et lui a imparti un délai échéant le 20 décembre 2007 pour lui faire part de sa position. La procédure qui est à l'origine du présent litige a donc débuté avant l'entrée en vigueur, le 1er janvier 2008, de la loi fédérale du 16 décembre 2005 sur les étrangers (LEtr; RS 142.20). Sous réserve de l'accord du 21 juin 1999 entre la Confédération suisse, d'une part, et la Communauté européenne et ses États membres, d'autre part, sur la libre circulation des personnes (ALCP; RS 0.142.112.681), le cas demeure ainsi régi par l'ancien droit (cf. art. 126 al. 1 LEtr), à savoir la loi fédérale du 26 mars 1931 sur le séjour et l'établissement des étrangers (LSEE; RS 1 113), à l'exception des questions de procédure (art. 126 al. 2 LEtr).
2. Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 96).
2.1 Le recourant a interjeté, en un seul acte conformément à l'<ref-law>, un recours en matière de droit public et un recours constitutionnel subsidiaire. Le second étant irrecevable en cas de recevabilité du premier (<ref-law>), il convient d'examiner si la voie du recours en matière de droit public est ouverte.
2.2 D'après l'art. 83 let. c ch. 2 LTF, le recours en matière de droit public est irrecevable contre les décisions en matière de droit des étrangers qui concernent une autorisation à laquelle ni le droit fédéral ni le droit international ne donnent droit.
Le recourant est marié à une ressortissante française titulaire d'une autorisation d'établissement. En principe, il dispose donc, en vertu des art. 7 let. d ALCP et 3 par. 1 et 2 annexe I ALCP, d'un droit (dérivé) à une autorisation de séjour en Suisse pendant toute la durée formelle de son mariage, à l'image de ce que prévoit l'art. 7 al. 1 LSEE pour le conjoint étranger d'un ressortissant suisse (<ref-ruling> consid. 8.3 p. 129). Il s'est ainsi vu délivrer une autorisation de séjour CE/AELE valable jusqu'au 10 septembre 2010, au titre du regroupement familial. Son recours est dès lors recevable en tant qu'il s'en prend à la confirmation de la décision d'extinction de l'autorisation de séjour obtenue à la suite de son mariage et demande le maintien de cette autorisation (arrêts 2C_530/2009 du 2 mars 2010 consid. 2.1 et 2C_587/2008 du 4 décembre 2008 consid. 2.1).
2.3 Pour le surplus, le présent recours est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale par un tribunal supérieur (art. 86 al. 1 let. d et al. 2 LTF); il a été formé en temps utile (art. 100 al. 1 et 46 al. 1 let. c LTF) et dans les formes prescrites (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à son annulation ou à sa modification (<ref-law>). Il est en principe recevable comme recours en matière de droit public et, par conséquent, irrecevable comme recours constitutionnel subsidiaire (<ref-law>).
3. Le recourant invoque qu'il a le droit de séjourner en Suisse aussi longtemps que son mariage avec une ressortissante de la Communauté européenne n'est pas dissous, puisque les conditions d'un abus de droit ne sont pas réalisées. Il fait valoir qu'il a créé une société en Suisse, pays qui est la plaque tournante de tout son projet. Il prétend que ses attaches demeurent en Suisse, même s'il est appelé à voyager. Il reproche au Tribunal cantonal d'avoir violé l'ALCP et le principe de la proportionnalité.
3.1 D'après la jurisprudence (<ref-ruling> consid. 4, 8, 9 et 10 p. 116 s. et 127 ss) relative à l'art. 3 par. 1 et 2 let. a annexe I ALCP, le conjoint étranger d'un travailleur communautaire disposant d'une autorisation de séjour ou d'établissement en Suisse peut se prévaloir de droits d'une portée analogue à ceux dont bénéficie le conjoint étranger d'un citoyen suisse en vertu de l'art. 7 al. 1 LSEE.
Par conséquent, à l'instar des étrangers mariés à un citoyen suisse, les étrangers mariés à un travailleur communautaire jouissent, en principe, d'un droit de séjour en Suisse pendant toute la durée formelle du mariage, attendu qu'ils n'ont pas à vivre "en permanence" sous le même toit que leur époux pour être titulaire d'un tel droit. Ce droit n'est cependant pas absolu. D'une part, l'<ref-law> ne protège pas les mariages fictifs. D'autre part, en cas de séparation des époux, il y a abus de droit à invoquer cette disposition lorsque le lien conjugal est vidé de toute substance et que la demande de regroupement familial vise seulement à obtenir une autorisation de séjour pour l'époux du travailleur communautaire. A cet égard, les critères élaborés par la jurisprudence rendue à propos de l'art. 7 al. 1 LSEE s'appliquent mutatis mutandis en matière d'ALCP (<ref-ruling> consid. 9.5 p. 134; confirmé récemment in arrêt 2C_417/2008 du 18 juin 2010 consid. 5.1).
Selon la jurisprudence relative à l'art. 7 al. 1 LSEE, le mariage n'existe plus que formellement lorsque l'union conjugale est rompue définitivement, c'est-à-dire lorsqu'il n'y a plus d'espoir de réconciliation; les causes et les motifs de la rupture ne jouent pas de rôle (<ref-ruling> consid. 4.2 p. 117 et la jurisprudence citée). Des indices clairs doivent démontrer que la poursuite de la vie conjugale n'est plus envisagée et qu'il n'existe plus de perspective à cet égard (cf. <ref-ruling> consid. 10.2 p. 135; <ref-ruling> consid. 2.2 p. 151).
3.2 Se référant à la prise de position du Service cantonal, le Tribunal cantonal a retenu les déclarations orales et écrites de l'épouse du recourant selon lesquelles le couple n'avait jamais fait vie commune et le mari séjournait principalement à l'étranger. Il a également considéré que le recourant ne vivait plus avec sa femme depuis en tout cas le 28 mai 2009 (date de la réponse de l'époux à la demande en annulation de mariage) et qu'il n'avait pas établi l'existence d'un espoir sérieux de réconciliation. Le Tribunal cantonal a aussi pris en compte comme un simple indice, en raison du contexte, que la femme du recourant avait allégué dans sa demande d'annulation de mariage, voire de divorce, que les époux n'avaient jamais passé un mois d'affilée ensemble.
Les faits retenus par les juges cantonaux les autorisaient à estimer que le mariage du recourant était vidé de toute substance, de sorte que le fait de l'invoquer à l'appui du maintien de l'autorisation de séjour constituait un abus de droit. Dans la présente procédure, le recourant se borne à déclarer que les conditions d'un abus de droit ne sont pas réalisées. Cependant, il ne fait valoir aucun élément concret et vraisemblable permettant d'admettre une volonté réelle d'une reprise prochaine de la vie commune. Ainsi, le Tribunal cantonal n'a pas enfreint l'ALCP, en confirmant que l'intéressé n'avait plus droit à son autorisation de séjour CE/AELE.
Le recourant se plaint d'une violation du principe de la proportionnalité dans la mesure où on lui refuse le droit de séjourner en Suisse, alors que son mariage perdure. Son argument tombe à faux dès lors qu'on a admis que le recourant commettait un abus de droit en invoquant un mariage vidé de toute substance pour obtenir le maintien de son autorisation de séjour.
4. Au vu de ce qui précède, le recours en matière de droit public doit être
rejeté et le recours constitutionnel subsidiaire déclaré irrecevable.
Succombant, le recourant doit supporter les frais judiciaires (art. 65 et 66 al. 1 LTF) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours en matière de droit public est rejeté.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué au mandataire du recourant, au Service de la population et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des migrations.
Lausanne, le 27 juillet 2010
Au nom de la IIe Cour de droit public
du Tribunal fédéral suisse
Le Président: La Greffière:
Zünd Dupraz