Faits:
A. F._, née en 1974, de nationalité française, est affiliée à la Caisse des Français de l'Etranger et a adhéré au contrat MUTHELP complémentaire santé géré par la Mutuelle Familiale France et Outre-Mer. Séjournant en Suisse, où elle est active dans le domaine de la recherche, elle a bénéficié d'une dispense de l'obligation d'assurance dans l'assurance-maladie suisse pour la période du 15 novembre 2002 au 15 novembre 2005, laquelle a été renouvelée pour la période du 16 novembre 2005 au 30 septembre 2008.
Le 17 octobre 2008, l'Organe cantonal vaudois de contrôle de l'assurance-maladie et accidents (ci-après: OCC) a informé F._ qu'elle ne pouvait plus bénéficier d'une dérogation à l'assurance-maladie obligatoire et l'a invitée à demander son affiliation auprès de l'assureur suisse de son choix parmi les assureurs agréés par le Département fédéral de l'intérieur et à lui faire parvenir une copie de l'attestation d'assurance jusqu'au 17 novembre 2008.
Par lettre du 10 novembre 2008, F._ a présenté une demande tendant à la dispense de l'obligation d'assurance dans l'assurance-maladie suisse. Vu l'importance de ses problèmes dentaires, il était de son intérêt, dans le domaine de la recherche où la mobilité de l'emploi pouvait l'amener à trouver un travail dans un autre pays, à rester affiliée à la Caisse des Français de l'Etranger et à bénéficier du contrat MUTHELP, lequel prévoyait le remboursement à 100 % des frais réels, dont les soins et prothèses dentaires, lesquels étaient dispensés depuis toujours par son dentiste en France et ne seraient pas remboursés dans la même mesure par une assurance complémentaire en Suisse.
Par lettres des 14 et 26 novembre 2008, l'OCC a rejeté la demande et imparti à F._ un délai au 5 décembre 2008, prolongé jusqu'au 5 janvier 2008 (recte: 2009) pour s'affilier à l'assureur suisse de son choix.
B. Le 15 décembre 2008, F._ a saisi le Tribunal des assurances du canton de Vaud - aujourd'hui: la Cour des assurances sociales du Tribunal cantonal du canton de Vaud. Elle faisait valoir que les conditions d'une exemption selon l'art. 2 al. 8 OAMal étaient réalisées, attendu que les soins dentaires ne sont pas couverts par l'assurance obligatoire des soins et qu'elle ne pourrait conclure une assurance complémentaire ayant la même étendue que l'assurance française en ce qui concerne leur remboursement.
Par arrêt du 12 août 2009, la juridiction cantonale a rejeté le recours dans la mesure où il était recevable.
C. F._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de dépens, à sa réforme en ce sens qu'elle est mise au bénéfice d'une dispense à l'assurance-maladie obligatoire.
L'Organe cantonal vaudois de contrôle de l'assurance-maladie et accidents conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. Le recours peut être formé notamment pour violation du droit fédéral (art. 95 let. a LTF), que le Tribunal fédéral applique d'office (art. 106 al. 1 LTF), n'étant ainsi limité ni par les arguments du recourant, ni par la motivation de l'autorité précédente (cf. ATF 130 III 136 consid. 1.4 p.140). Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF). Il examine sur la base des griefs soulevés dans le recours si le jugement entrepris viole (notamment) le droit fédéral dans l'application des règles pertinentes du droit matériel et de preuve (art. 95 let. a LTF) y compris une éventuelle constatation des faits manifestement inexacte ou en violation du droit (art. 97 al. 1, art. 105 al. 2 LTF). Aucun fait nouveau ni preuve nouvelle ne peut être présenté à moins de résulter de la décision de l'autorité précédente (art. 99 al. 1 LTF).
2. Le litige porte sur le point de savoir si la recourante peut bénéficier d'une exemption à l'obligation d'assurance dans l'assurance-maladie suisse à partir du 1er octobre 2008.
2.1 Un des buts principaux de la LAMal est de rendre l'assurance-maladie obligatoire pour l'ensemble de la population en Suisse. Aussi bien l'art. 3 al. 1 LAMal pose-t-il le principe de l'obligation d'assurance pour toute personne domiciliée en Suisse (ATF 129 V 77 consid. 4, 126 V 265 consid. 3b p. 268 et les références ). L'art. 3 al. 2 LAMal délègue cependant la compétence au Conseil fédéral d'excepter de l'assurance obligatoire certaines catégories de personnes. Au regard du but de solidarité fixé par le législateur, les exceptions à l'obligation de s'assurer doivent être interprétées de manière stricte (ATF 129 V 77 consid. 4.2 p. 78; voir aussi ATF 132 V 310 consid. 8.3 p. 313).
2.2 Faisant usage de la délégation de compétence de l'art. 3 al. 2 LAMal, le Conseil fédéral a prévu à l'art 2 al. 8 première phrase OAMal que sont exceptées sur requête les personnes dont l'adhésion à l'assurance suisse engendrerait une nette dégradation de la protection d'assurance ou de la couverture des frais et qui, en raison de leur âge et/ou de leur état de santé, ne pourraient pas conclure une assurance complémentaire ayant la même étendue ou ne pourraient le faire qu'à des conditions difficilement acceptables. Selon l'art. 2 al. 8 deuxième phrase OAMal, la requête doit être accompagnée d'une attestation écrite de l'organisme étranger compétent donnant tous les renseignements nécessaires.
2.3 Alors qu'il est question à l'art. 2 al. 4 et 4bis OAMal d'une «couverture d'assurance équivalente» pour les traitements en Suisse, seule la condition "du cas de rigueur" contenue à l'art. 2 al. 8 OAMal requiert une protection d'assurance plus étendue, une assurance privée, dont la couverture va au-delà des prestations de la LAMal (Ursula Hohn, Rechtsprobleme bei der Umsetzung des Koordinationsrechts in der Krankenversicherung, in: Das europäische Koordinationsrecht der sozialen Sicherheit und die Schweiz, Erfahrungen und Perspektiven, Europa Institut Zürich, 2006, p. 67; Gebhard Eugster, Krankenversicherung, in: Soziale Sicherheit, SBVR, 2e éd., n° 90 p. 428).
L'art. 2 al. 8 OAMal ne peut être invoqué de manière générale par les personnes pour lesquelles le passage au système d'assurance suisse signifie, certes, une couverture d'assurance plus onéreuse ou moins étendue, mais qui peuvent encore s'assurer au-delà du minimum obligatoire au moyen d'assurances complémentaires au sens de la LCA (même si ces assurances offrent globalement une protection moindre, mais que la personne concernée peut bénéficier de cette protection dans la mesure où elle est disponible en Suisse). Il s'agit par exemple d'une couverture d'assurance complémentaire pour les vacances ou les voyages, dans la perspective de déplacements professionnels à l'étranger, complétant la protection déjà offerte par l'ALCP et les art. 22 et 22bis du règlement (CEE) n° 1408/71. L'art. 2 al. 8 OAMal ne peut être invoqué que par les personnes qui, dans le cadre de l'offre d'assurance disponible en Suisse, ne peuvent conclure une assurance complémentaire - ou seulement à des conditions inacceptables - en raison de leur âge ou de leur atteinte à la santé; il s'agit d'éviter que ces personnes voient leur niveau de protection d'assurance diminuer, en raison de leur âge ou de leur état de santé, en entrant dans le système suisse (ATF 132 V 310 consid. 8.5.6 p. 317 s.; arrêt [du Tribunal fédéral des assurances] K 138/05 du 25 août 2006).
3. Le premier juge a retenu que l'adhésion à l'assurance suisse engendrerait une dégradation de la protection d'assurance et de la couverture des frais en ce qui concerne les soins dentaires, non couverts par la LAMal et pour lesquels une assurance complémentaire ayant la même étendue que la couverture de l'assurance française ne pourrait être conclue ou ne pourrait l'être qu'à des conditions difficilement acceptables. Toutefois, pour le reste des prestations, il a constaté l'impossibilité de rapporter la preuve au moins d'une équivalence avec les prestations de l'assurance obligatoire des soins. Ainsi, s'agissant des prestations autres que les soins et prothèses dentaires, il n'était pas établi que l'assureur français octroie de manière générale une couverture équivalente à celle de l'assurance de base suisse et on ne pouvait donc parler d'une nette dégradation de la protection d'assurance ou de la couverture des frais, raison pour laquelle il y avait lieu de nier que les conditions d'une exception à l'obligation d'assurance en Suisse selon l'art. 2 al. 8 OAMal soient remplies.
3.1 La recourante fait valoir que les soins et prothèses dentaires lui sont remboursés par l'assurance française et qu'ainsi la couverture des frais dont elle bénéficie est à l'évidence supérieure à celle de l'assurance obligatoire des soins. Vu que la pratique actuelle des autorités françaises consiste à refuser de signer le formulaire helvétique et à fournir une attestation décrivant la couverture des frais, le contrat MUTHELP apporte la preuve d'une couverture supérieure de l'assurance française et il est dès lors arbitraire de l'obliger à adhérer à l'assurance suisse.
3.2 Il ressort du contrat MUTHELP complémentaire santé (garanties et tarifs en vigueur au 1er janvier 2008) que selon l'option 2 dont la recourante bénéficie, les soins dentaires sont des prestations couvertes à 100 % frais réels et que les frais de prothèses dentaires sont des prestations couvertes à 100 % frais réels dans la limite de 4726 EUR par an et par personne. Ainsi, s'agissant des soins dentaires, la couverture des frais va au-delà des prestations de la LAMal (supra, consid. 2.3).
La recourante présentant des problèmes dentaires conséquents, la conclusion d'une assurance complémentaire pour ce risque apparaît difficile et le passage dans l'assurance suisse en ce qui concerne ces prestations particulières est susceptible d'entraîner une détérioration de la protection d'assurance ou de la couverture des frais.
3.3 En revanche, s'agissant des autres prestations, la juridiction cantonale a estimé qu'il n'était pas établi que la couverture étrangère offrît de manière générale une couverture équivalente à celle de l'assurance obligatoire des soins suisse. Sur la base des pièces produites en instance cantonale, cette constatation n'apparaît pas manifestement inexacte et la recourante ne tente même pas, par une argumentation spécifique, au niveau fédéral de démontrer le contraire. Aussi, à défaut d'équivalence entre les prestations de l'assurance française et celles de l'assurance obligatoire des soins en ce qui concerne les prestations autres que dentaires, la conclusion des premiers juges selon laquelle on ne pouvait parler dans le cas de la recourante d'une nette dégradation de la protection d'assurance ou de la couverture des frais et que les conditions d'une exception à l'obligation d'assurance selon l'art. 2 al. 8 OAMal n'étaient dès lors pas remplies, n'apparaît ainsi pas contraire au droit fédéral. Le recours est mal fondé.
4. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de la recourante, qui succombe (art. 66 al. 1 LTF). Elle ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 68 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
3. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral de la santé publique.
Lucerne, le 16 juin 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner