Faits:
A. L._ était assurée en 2007 auprès de Avantis-Assureur maladie (ci-après: l'assureur) pour l'assurance obligatoire des soins en cas de maladie et d'accident.
Le 3 novembre 2007, l'assurée s'est cassé une dent en mangeant un pain aux olives qu'elle avait confectionné avec des olives dénoyautées, préalablement achetées auprès d'un grand distributeur.
L'assureur a refusé la prise en charge du traitement dentaire qui en est résulté, au motif que l'événement en question ne constituait pas un accident, en l'absence d'un facteur extérieur extraordinaire (décision du 13 décembre 2007, confirmée sur opposition le 24 avril 2008).
B. Par jugement du 28 octobre 2010, le Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, a admis le recours formé par L._ et condamné l'assureur à prester pour les suites de l'accident.
C. Avantis-Assureur maladie interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement. Il conclut à son annulation et à la confirmation de sa décision sur opposition du 24 avril 2008.
L'assurée conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit:
1. La décision attaquée ayant été rendue dans une cause de droit public (<ref-law>) et dans une matière - le droit fédéral des assurances sociales - où aucune des clauses d'exception de l'<ref-law> ne s'applique, la voie du recours en matière de droit public est ouverte. Partant, il n'y a pas lieu d'entrer en matière sur le recours constitutionnel subsidiaire interjeté par la recourante.
2. Le recours en matière de droit public (<ref-law>) peut être formé pour violation du droit au sens des art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Toutefois, eu égard à l'exigence de motivation contenue à l'art. 42 al. 1 et 2 LTF - sanctionnée par l'irrecevabilité des recours dont la motivation est manifestement insuffisante (<ref-law>) -, le Tribunal fédéral n'examine en principe que les griefs invoqués. Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> auquel cas il peut les rectifier ou les compléter d'office (<ref-law>).
3. La juridiction cantonale a retenu qu'on ne pouvait pas dénier la nature accidentelle de l'incident du 3 novembre 2007. Elle a notamment considéré que la condition de l'existence d'un facteur extérieur extraordinaire était remplie. Les premiers juges ont estimé que, même si on ne pouvait pas garantir totalement l'absence d'un noyau parmi des olives dites dénoyautées, une telle présence dépassait manifestement le cadre de l'habituel. Objectivement, l'assurée, qui avait acheté délibérément des olives dénoyautées, ne devait pas s'attendre à trouver un noyau dans l'aliment qu'elle avait confectionné avec celles-ci. Elle avait au contraire pris toutes les précautions utiles et on ne pouvait pas lui reprocher de ne pas avoir eu son attention suffisamment attirée par les olives figurant parmi les ingrédients. La présence d'un tel corps dur dans le pain aux olives constituait dès lors un facteur extraordinaire auquel elle ne devait ni ne pouvait s'attendre, sans égard au fait que le noyau soit partie intégrante de l'olive.
4. La recourante estime que les premiers juges auraient violé le droit fédéral, en particulier les art. 4 et 61 lit. c LPGA et 31 LAMal, ainsi que la jurisprudence fédérale constante en matière de lésions dentaires accidentelles, de même qu'ils auraient procédé à une constatation manifestement inexacte des faits. A son avis, le noyau d'une olive serait un élément intrinsèque à l'aliment consommé et ne pourrait dès lors pas être considéré comme une cause extérieure ou exogène. Il ne serait pas extraordinaire qu'un noyau se trouve dans une olive, même dénoyautée, d'une part parce que le noyau n'est pas un élément extérieur à l'aliment en question et d'autre part parce que le dénoyautage ne serait pas une opération fiable à 100 %, ce qui serait généralement indiqué sur les sachets d'olive. La recourante ajoute que le fournisseur auprès duquel s'est approvisionnée l'intimée, soit la société coopérative Migros, met en garde le consommateur en précisant, par une mention figurant sur les sachets, que les olives ont été dénoyautées mécaniquement et peuvent encore occasionnellement contenir un noyau ou des fragments de noyau.
5. 5.1 L'assurance-maladie sociale alloue des prestations en cas d'accident, dans la mesure où aucune assurance-accidents n'en assume la prise en charge (art. 1a al. 2 lit. b LAMal) et couvre notamment les coûts du traitement de lésions du système de mastication causées par un accident (<ref-law>).
5.2 Par accident, on entend toute atteinte dommageable, soudaine et involontaire, portée au corps humain par une cause extérieure extraordinaire qui compromet la santé physique, mentale ou psychique ou qui entraîne la mort (<ref-law>).
5.3 Il résulte de la définition même de l'accident que le caractère extraordinaire de l'atteinte ne concerne pas les effets du facteur extérieur, mais seulement ce facteur lui-même. Dès lors il importe peu que le facteur extérieur ait entraîné, le cas échéant, des conséquences graves ou inattendues. Le facteur extérieur est considéré comme extraordinaire lorsqu'il excède, dans le cas particulier, le cadre des événements et des situations que l'on peut, objectivement, qualifier de quotidiens ou d'habituels (<ref-ruling> consid. 2.1 p. 404; <ref-ruling> consid. 1 p. 233; <ref-ruling> consid. 1a p. 38).
5.4 Le bris d'une dent est considéré comme accidentel lorsqu'il s'est produit au contact d'un élément dur extérieur à l'aliment consommé, de nature à causer la lésion incriminée. La dent ne doit pas être parfaitement saine mais il suffit qu'elle remplisse normalement sa fonction de mastication (<ref-ruling> consid. 3b p. 170). Le Tribunal fédéral des assurances a par exemple admis, dans ce contexte, que la présence d'un fragment de coquille de noix ou de noisette dans un pain au noix, un gâteau aux noix, un croissant fourré ou un chocolat aux noisettes, est extraordinaire en dépit du fait qu'on ne peut jamais exclure totalement la présence d'un fragment de coquille dans un aliment (arrêt K 1/88 du 15 août 1988, consid. 2b, publié in RAMA 1988 n° K 787 p. 419; cf. également Turtè Baer, Die Zahnschädigung als Unfall in der Sozialversicherung, in: RSJ 88/1992, p. 321 ss et les renvois). Cette jurisprudence peut s'appliquer par analogie aux olives. En effet, à l'instar des noix et noisettes, ces fruits comportent, à l'état naturel, une partie comestible et une autre, dure, susceptible d'entraîner des lésions dentaires.
6. 6.1 En l'espèce, il n'est pas contesté que le choix de l'intimée s'est porté délibérément sur un sachet d'olives dénoyautées. L'expérience générale de la vie enseigne qu'un tel emballage ne contient en principe pas de noyaux. Comme l'ont relevé les premiers juges, l'intimée ne pouvait ni ne devait s'attendre, malgré un risque résiduel toujours existant, à ce qu'il en aille autrement dans ce cas; elle avait au contraire toutes les raisons de penser qu'elle avait acheté uniquement de la pulpe d'olives. Dans ces conditions, la présence d'un noyau dans le pain qu'elle a confectionné n'est pas une situation qui peut objectivement être qualifiée de quotidienne ou habituelle. S'il en va différemment lorsqu'une personne achète dans un magasin une pizza garnie d'olives sans qu'aucune précision ne soit fournie quant à celles-ci (arrêt U 454/04 du 14 février 2006 consid. 3.6), c'est que l'acheteur ignore alors si les fruits utilisés ont été dénoyautés ou non; dans ces conditions, il doit s'attendre à ce que les olives contiennent des noyaux. Cela est d'autant plus vrai lorsqu'une personne a confectionné un gâteau avec des cerises qu'elle savait non dénoyautées (<ref-ruling> consid. 3b p. 205), puisque la présence de corps durs dans l'aliment consommé confine alors à la certitude.
6.2 La recourante prétend que l'intimée aurait été rendue attentive à la possible présence de noyaux dans le sachet d'olives qu'elle a acheté par la présence d'un avertissement figurant sur celui-ci. Toutefois, il ne ressort pas des constatations des premiers juges que le sachet acheté par l'intimée portait mention d'un tel avertissement. Au surplus, cette question n'est pas décisive pour l'issue du litige. Pour que l'on puisse considérer que l'intimée devait prendre en compte cette information, celle-ci aurait dû être véritablement portée à sa connaissance. Il ne peut en aller ainsi que si le texte en question a été mis suffisamment en évidence, notamment par son emplacement et la grandeur de ses caractères. Il y a lieu de poser des exigences élevées en la matière car on ne saurait attendre de l'acheteur d'un bien aussi banal et simple d'utilisation que des olives qu'il prête une attention particulière aux éléments figurant sur l'emballage du produit qu'il acquiert. La recourante n'a pas tenté d'établir que cela aurait été le cas. Même si l'on admettait l'argument de la recourante relatif à cet avertissement, cela reviendrait simplement à dire que l'intimée ne devait pas exclure la présence de noyaux ou d'éclats de noyaux dans les olives qu'elle a achetées. Le fait qu'on ne puisse pas exclure totalement qu'un corps dur se trouve dans un aliment ne suffit toutefois pas, en soi, à dénier le caractère extraordinaire de sa présence (cf. supra consid. 5.4).
7. Mal fondé, le recours doit être rejeté. La recourante, qui succombe, supportera les frais judiciaires afférents à la présente procédure (art. 66 al. 1, 1ère phrase, LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours constitutionnel subsidiaire est irrecevable.
2. Le recours en matière de droit public est rejeté.
3. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de la recourante.
4. La recourante versera à l'intimée la somme de 2'800 fr. à titre de dépens pour la dernière instance.
5. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Fribourg, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 20 avril 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Bouverat