Faits:
A. M._, née en 1967, travaille en qualité d'assistante notariale auprès de l'Etude X._. A ce titre, elle est assurée obligatoirement contre le risque d'accident auprès de Mutuel Assurances (ci-après: Mutuel).
Le 8 juin 2009, l'employeur de l'assurée a informé Mutuel que celle-ci s'était retourné le majeur de la main droite en retirant sa chaussette, le 18 mai précédent. Le docteur D._, spécialiste en chirurgie plastique et reconstructive et en chirurgie de la main, a diagnostiqué une déchirure de la sangle de l'appareil extenseur du médius droit au niveau de l'articulation métacarpo-phalangienne et du côté radial. Ce médecin a procédé à une suture le 3 juin 2009.
Après avoir requis l'avis de son médecin-conseil, le docteur G._, spécialiste en orthopédie et traumatologie, Mutuel a rendu une décision le 7 juillet 2009, confirmée sur opposition le 10 décembre suivant, par laquelle il a nié le droit de l'assurée à des prestations de l'assurance-accidents, motif pris que l'événement du 18 mai 2009 n'était pas un accident et que ses suites ne constituaient pas, par ailleurs, une lésion corporelle assimilée à un accident.
B. M._ et son assureur-maladie, Progrès Assurances SA, ont recouru contre cette décision sur opposition devant le Tribunal administratif du canton de Berne.
Par jugement du 18 octobre 2010, la juridiction cantonale a annulé la décision sur opposition attaquée et renvoyé la cause à Mutuel pour qu'il fixe les prestations dues à l'assurée en raison de l'atteinte au médius droit.
C. Mutuel interjette un recours en matière de droit public en concluant, sous suite de frais et dépens, à la réformation du jugement attaqué en ce sens que l'assurée n'a pas droit à des prestations de l'assurance-accidents. A l'appui de son recours, il produit un rapport du docteur G._ du 15 novembre 2010.
M._ conclut au rejet du recours sous suite de frais et dépens, ce que demande également Progrès Assurances SA. De leur côté, la juridiction cantonale et l'Office fédéral de la santé publique ont renoncé à présenter des déterminations.

Considérant en droit:
1. 1.1 Le recours en matière de droit public (<ref-law>) est recevable contre les décisions qui mettent fin à la procédure (<ref-law>), ainsi que contre les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation (<ref-law>). Selon l'<ref-law>, les autres décisions préjudicielles et incidentes notifiées séparément peuvent faire l'objet d'un recours si elles peuvent causer un préjudice irréparable (let. a) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (let. b).
En l'occurrence, la juridiction cantonale a reconnu le droit de l'assurée à des prestations de l'assurance-accidents pour les suites de l'événement du 18 mai 2009 et elle a renvoyé la cause à Mutuel pour qu'il fixe les prestations dues à ce titre. D'un point de vue purement formel, il s'agit donc d'une décision de renvoi, soit une décision incidente au sens de l'<ref-law>. Aussi, le recours n'est-il admissible qu'aux conditions posées à l'art. 93 al. 1 let. a et b LTF.
En l'occurrence, la juridiction cantonale a reconnu le droit de l'assurée à des prestations de l'assurance-accidents pour les suites de l'événement du 18 mai 2009 et elle a renvoyé la cause à Mutuel pour qu'il fixe les prestations dues à ce titre. D'un point de vue purement formel, il s'agit donc d'une décision de renvoi, soit une décision incidente au sens de l'<ref-law>. Aussi, le recours n'est-il admissible qu'aux conditions posées à l'art. 93 al. 1 let. a et b LTF.
1.2 1.2.1 Un préjudice irréparable au sens de l'<ref-law> s'entend du dommage qui ne peut pas être réparé ultérieurement, notamment par la décision finale.
Selon la jurisprudence, conformément à l'art. 42 al. 1 et 2 LTF, dans la mesure où elles ne sont pas immédiatement données, la partie recourante doit exposer en quoi les conditions de recevabilité sont réunies. Il lui appartient notamment d'alléguer et d'établir la possibilité qu'une décision incidente lui cause un dommage irréparable (<ref-ruling> consid. 1.2 p. 428 s. et les références citées), à moins que celui-ci ne fasse d'emblée aucun doute (arrêts 2C_8/2011 du 3 mars 2011 consid. 2.2; 2C_687/2009 du 17 février 2010 consid. 1.3.2).
Le Tribunal fédéral considère qu'il y a un préjudice irréparable au sens de l'<ref-law> lorsqu'une autorité dotée du pouvoir de décision est contrainte par un jugement de renvoi de rendre une décision à ses yeux contraire au droit. Comme elle n'a pas qualité pour attaquer sa propre décision, celle-ci pourrait entrer en force sans que l'autorité puisse la déférer au Tribunal fédéral. Pour pallier cet inconvénient, il convient qu'une autorité ayant qualité pour recourir puisse, en vertu de l'<ref-law>, attaquer d'emblée la décision de renvoi, ou le prononcé qui la confirme, devant le Tribunal fédéral (cf. <ref-ruling> consid. 5.2.4 p. 484 s.; arrêts 8C_478/2010 du 25 mars 2011 consid. 1.2; 8C_607/2009 du 25 août 2009 consid. 2.2.1; 2C_258/2008 du 27 mars 2009 consid. 3.6.1).
1.2.2 En l'espèce, le jugement attaqué a un effet contraignant pour le recourant en ce sens qu'il doit fixer les prestations dues à l'assurée tout en étant lié quant à la prise en charge des suites de l'événement du 18 mai 2009. Dans ces conditions, le jugement incident entraîne sans aucun doute un préjudice irréparable au sens de l'<ref-law>. Le recours est donc admissible, bien que le recourant n'allègue pas l'existence d'un tel préjudice.
1.2.3 Par ailleurs, le recours, dirigé contre un arrêt rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF), et déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi, est recevable.
2. A l'appui de ses conclusions, le recourant produit un rapport du docteur G._ du 15 novembre 2010. Ce rapport médical ne peut toutefois pas être pris en considération par la Cour de céans, dès lors qu'en principe, un moyen de preuve qui n'a pas été examiné dans la procédure devant l'autorité précédente n'est pas admissible dans la procédure devant le Tribunal fédéral (<ref-law>).
3. Le litige porte sur le droit éventuel de l'assurée à des prestations de l'assurance-accidents (prestations pour soins et indemnités journalières) pour les suites de l'événement du 18 mai 2009. Singulièrement, il s'agit d'examiner si la déchirure de la sangle de l'appareil extenseur du médius droit constitue une lésion corporelle assimilée à un accident au sens de l'<ref-law>, en particulier une déchirure du tendon (let. f). En effet, le point de vue de l'assureur-accidents selon lequel l'événement en cause n'est pas un accident au sens de l'<ref-law> ne fait pas l'objet d'une controverse entre les parties.
Lorsque le jugement entrepris porte sur des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral constate avec un plein pouvoir d'examen les faits communs aux deux objets litigieux et se fonde sur ces constatations pour statuer, en droit, sur ces deux objets. En revanche, les faits qui ne seraient pertinents que pour statuer sur le droit aux prestations en nature ne sont revus que dans les limites définies par les art. 97 al. 1 et 105 al. 2 LTF (SVR 2011 UV n°1 p. 1, 8C_584/2009 consid. 4).
4. 4.1 Aux termes de l'<ref-law>, le Conseil fédéral peut inclure dans l'assurance-accidents des lésions corporelles qui sont semblables aux conséquences d'un accident. En vertu de cette délégation de compétence, il a édicté l'<ref-law>, selon lequel certaines lésions corporelles sont assimilées à un accident même si elles ne sont pas causées par un facteur extérieur de caractère extraordinaire, pour autant qu'elles ne soient pas manifestement imputables à une maladie ou à des phénomènes dégénératifs. Les déchirures de tendons figurent dans la liste exhaustive de l'<ref-law> à la let. f.
La notion de lésion assimilée à un accident a pour but d'éviter, au profit de l'assuré, la distinction souvent difficile entre maladie et accident. Aussi, les assureurs-accidents LAA doivent-ils assumer un risque qui, en raison de la distinction précitée, devrait en principe être couvert par l'assurance-maladie. Les lésions mentionnées à l'<ref-law> sont assimilées à un accident même si elles ont, pour l'essentiel, une origine vraisemblablement maladive ou dégénérative, pour autant qu'une cause extérieure ait, au moins, déclenché les symptômes dont souffre l'assuré (<ref-ruling>; <ref-ruling> consid. 2b p. 44; <ref-ruling> consid. 2c p. 147; <ref-ruling> consid. 3c p. 301).
La notion de lésion assimilée à un accident a pour but d'éviter, au profit de l'assuré, la distinction souvent difficile entre maladie et accident. Aussi, les assureurs-accidents LAA doivent-ils assumer un risque qui, en raison de la distinction précitée, devrait en principe être couvert par l'assurance-maladie. Les lésions mentionnées à l'<ref-law> sont assimilées à un accident même si elles ont, pour l'essentiel, une origine vraisemblablement maladive ou dégénérative, pour autant qu'une cause extérieure ait, au moins, déclenché les symptômes dont souffre l'assuré (<ref-ruling>; <ref-ruling> consid. 2b p. 44; <ref-ruling> consid. 2c p. 147; <ref-ruling> consid. 3c p. 301).
4.2 4.2.1 La juridiction cantonale a considéré que la déchirure de la sangle (ou membrane) de l'appareil extenseur du médius droit pouvait être classée dans la catégorie diagnostique des déchirures de tendons mentionnée à l'art. 9 al. 2 let. f OLAA. Selon la doctrine médicale à laquelle les premiers juges se réfèrent, la sangle sagittale constitue le principal stabilisateur dynamique de l'appareil extenseur au dos de l'articulation métacarpo-phalangienne et accompagne le tendon extenseur dans son glissement longitudinal. Bien que la sangle sagittale ne soit pas un tendon au sens strictement anatomique, cela ne suffit pas, selon la juridiction cantonale, pour nier son appartenance à la catégorie des tendons visée à l'art. 9 al. 2 let. f OLAA. Etant donné que le Tribunal fédéral des assurances a jugé qu'une déchirure de la coiffe des rotateurs peut être assimilée à une déchirure des tendons au sens de cette disposition réglementaire, lorsque sont réunis tous les éléments caractéristiques d'un accident à l'exception du facteur extérieur de caractère extraordinaire (ATF <ref-ruling> consid. 2b p. 44), la juridiction cantonale est d'avis qu'il faut transposer cette jurisprudence au cas d'espèce car, à l'instar de la coiffe des rotateurs qui contribue à la stabilité de l'épaule, la sangle sagittale a pour fonction de stabiliser l'appareil extenseur au dos de l'articulation métacarpo-phalangienne et de favoriser la mobilité de celui-ci. Selon les premiers juges, rien ne s'oppose dès lors à ce que les sangles ou glissières des tendons extenseurs de la main soient assimilées dans leur structure à des tendons et à ce que leur déchirure entre ainsi dans la catégorie diagnostique mentionnée à l'art. 9 al. 2 let. f OLAA.
En outre, la juridiction cantonale a considéré que la déchirure de la sangle sagittale avait été déclenchée par une cause extérieure qui consiste en une sollicitation accrue de la sangle de l'appareil extenseur du majeur droit lors du geste de retirer la chaussette. A cet égard, elle se réfère à un jugement du Tribunal des assurances sociales du canton de Zurich du 17 juillet 2003 (UV.2002.00107), dans lequel l'existence d'un facteur extérieur a été admise dans un cas où une assurée s'était déchiré le tendon de l'index gauche en ôtant sa chaussette.
4.2.2 Le recourant conteste le point de vue de la juridiction cantonale selon lequel la jurisprudence de l'arrêt ATF <ref-ruling> peut être transposée au cas d'espèce. Selon l'assureur-accidents, en effet, la coiffe des rotateurs est un ensemble de quatre tendons de l'épaule, soit des éléments mentionnés à l'art. 9 al. 2 let. f OLAA, à savoir des tendons proprement dits qui constituent le prolongement des muscles et s'insèrent sur l'os. En revanche, la sangle sagittale ne constitue pas un tendon au sens propre et même en admettant que sa fonction soit comparable à celle de la coiffe des rotateurs, cela ne suffit pas, selon le recourant, pour admettre que sa rupture est englobée dans les diagnostics mentionnés exhaustivement à l'<ref-law>.
En ce qui concerne l'exigence d'un facteur extérieur causal, le recourant allègue que la jurisprudence cantonale invoquée par la juridiction précédente n'est d'aucun secours dans le cas particulier, du moment qu'elle est antérieure à l'arrêt <ref-ruling>, dans lequel le Tribunal fédéral des assurances a précisé la notion de facteur extérieur causal, dont l'existence présuppose la survenance d'un événement générant un risque de lésion accru. Tel n'est toutefois pas le cas lorsque, comme en l'occurrence, un assuré se retourne le majeur en enlevant une chaussette.
4.2.3 Selon l'assurée, la juridiction cantonale était fondée à transposer la jurisprudence de l'arrêt ATF <ref-ruling> à la présente affaire, du moment que la coiffe des rotateurs n'est pas un tendon au sens strict mais une plaque tendineuse destinée à renforcer la capsule articulaire de l'épaule par ses quatre muscles rotateurs, c'est-à-dire à assumer une fonction comparable à celle de la sangle sagittale qui constitue une sorte d'enveloppe indissociable du tendon qu'elle protège comme une membrane ou glissière. En outre, l'assurée se réfère à un jugement du 30 avril 1996, dans lequel le Tribunal administratif du canton de Genève a assimilé une lésion cartilagineuse de la trochlée fémorale à une fracture d'os, dans la mesure où cette partie cartilagineuse est étroitement liée à l'os du fémur dont elle constitue la surface extérieure face au tibia. D'après l'intéressée, cette jurisprudence peut être appliquée par analogie au présent cas, dès lors que la sangle sagittale est considérée comme étant indissociable du tendon.
Par ailleurs, l'assurée invoque l'existence d'un facteur extérieur causal, en alléguant que le fait d'enlever brusquement sa chaussette implique une sollicitation accrue d'un membre lorsque, comme en l'occurrence, elle n'a pas enlevé sa chaussette comme on le fait habituellement, en la faisant glisser avec l'intérieur du pouce, mais en utilisant l'index (sic), la face de la main droite en direction du sol.
4.2.4 De son côté, l'assureur-maladie est d'avis que d'un point de vue fonctionnel, la sangle sagittale est indissociable du tendon extenseur qu'elle protège comme une membrane ou une glissière, de sorte qu'elle fait partie du tendon. En ce qui concerne le facteur extérieur causal, le mouvement de tous les jours ne s'est pas passé comme à l'accoutumée, dès lors que, selon l'assureur-maladie, ce geste a été modifié par l'hyperextension forcée du majeur.
4.2.4 De son côté, l'assureur-maladie est d'avis que d'un point de vue fonctionnel, la sangle sagittale est indissociable du tendon extenseur qu'elle protège comme une membrane ou une glissière, de sorte qu'elle fait partie du tendon. En ce qui concerne le facteur extérieur causal, le mouvement de tous les jours ne s'est pas passé comme à l'accoutumée, dès lors que, selon l'assureur-maladie, ce geste a été modifié par l'hyperextension forcée du majeur.
4.3 4.3.1 En l'occurrence, la cour de céans ne saurait partager le point de vue de la juridiction cantonale, selon lequel la jurisprudence de l'arrêt ATF <ref-ruling>, appliquée au cas d'espèce, permet d'inférer que les sangles ou glissières des tendons extenseurs de la main sont assimilées dans leur structure à des tendons et que leur déchirure entre ainsi dans la catégorie diagnostique mentionnée à l'art. 9 al. 2 let. f OLAA. Dans l'arrêt susmentionné, le Tribunal fédéral des assurances n'a pas élargi la notion de tendon mentionnée dans cette disposition réglementaire, du moment que la coiffe des rotateurs est constituée de quatre tendons (cf. ATF <ref-ruling> consid. 2a p. 44). Il a seulement précisé qu'en dépit du risque accru de déchirure lié à un état dégénératif, il n'y avait pas lieu de faire une distinction entre les tendons et la coiffe des rotateurs, et d'exiger pour celle-ci l'existence d'un facteur extérieur de caractère extraordinaire (ATF <ref-ruling> consid. 2b p. 44 s.). Comme l'indique la juridiction précédente, la sangle sagittale a pour fonction de stabiliser l'appareil extenseur au dos de l'articulation métacarpo-phalangienne et d'accompagner le tendon extenseur dans son glissement longitudinal, mais elle ne constitue pas un tendon au sens strictement anatomique. Sur ce point, elle se distingue dès lors de la coiffe des rotateurs visée par la jurisprudence susmentionnée et peu importe, en ce qui concerne la qualification de lésion corporelle assimilée à un accident, que sa fonction soit, dans une mesure certes limitée, comparable à celle de la coiffe des rotateurs. Quant à l'argument des intimées, selon lequel la sangle sagittale est indissociable du tendon extenseur parce que celui-ci ne peut fonctionner sans elle, il ne permet pas non plus de considérer qu'une déchirure de la sangle sagittale est englobée dans les atteintes mentionnées à l'art. 9 al. 2 let. f OLAA. Pour ce motif déjà, le refus de l'assureur-accidents de prendre en charge les suites de l'événement du 18 mai 2009 n'apparaît pas critiquable.
4.3.2
4.3.2.1 L'existence d'une lésion corporelle assimilée un accident doit être niée, dans tous les cas où le facteur dommageable extérieur se confond avec l'apparition (pour la première fois) de douleurs identifiées comme étant les symptômes des lésions corporelles énumérées à l'art. 9 al. 2 let. a à h OLAA. De la même manière, l'exigence d'un facteur dommageable extérieur n'est pas donnée lorsque l'assuré fait état de douleurs apparues pour la première fois après avoir accompli un geste de la vie courante (par exemple en se levant, en s'asseyant, en se couchant ou en se déplaçant dans une pièce, etc.) à moins que le geste en question n'ait requis une sollicitation du corps, en particulier des membres, plus élevée que la normale du point de vue physiologique et dépasse ce qui est normalement maîtrisé d'un point de vue psychologique. La notion de cause extérieure suppose en effet qu'un événement générant un risque de lésion accru survienne. Tel est le cas notamment lors de changements de position du corps, qui sont fréquemment de nature à provoquer des lésions corporelles selon les constatations de la médecine des accidents (brusque redressement du corps à partir de la position accroupie, le fait d'accomplir un mouvement violent ou en étant lourdement chargé, ou le changement de position corporelle de manière incontrôlée sous l'influence de phénomènes extérieurs; <ref-ruling> consid. 4.2.2 p. 470).
4.3.2.2 En l'occurrence, la juridiction cantonale a admis l'existence d'un facteur dommageable extérieur consistant en une sollicitation accrue de la sangle sagittale lors du geste de retirer la chaussette. Ce faisant, elle n'explique toutefois pas en quoi le geste en question aurait requis une sollicitation du majeur droit plus élevée que la normale du point de vue physiologique et dépasserait ce qui est normalement maîtrisé d'un point de vue psychologique. Par ailleurs, contrairement à l'avis de l'assurée intimée, on ne saurait nier à l'acte en question le caractère de geste de la vie courante au motif que l'intéressée n'a pas utilisé son pouce mais un autre doigt de la main, en l'occurrence le majeur. Quant au jugement du Tribunal des assurances sociales du canton de Zurich du 17 juillet 2003 (UV.2002.00107) invoqué par la juridiction cantonale - rendu avant la précision de jurisprudence apportée par le Tribunal fédéral des assurances à l'arrêt <ref-ruling> -, il ne permet pas de s'écarter du point de vue du recourant. On ne saurait en effet considérer que la résistance présentée par la chaussette puisse représenter un risque de lésion accru.
Cela étant, l'existence d'un facteur extérieur doit être niée et, pour ce motif également, l'assureur-accidents était fondé à refuser de prendre en charge les suites de l'événement du 18 mai 2009. Le recours se révèle ainsi bien fondé.
5. La procédure est onéreuse (<ref-law>). Les intimées, qui succombent doivent en supporter les frais (<ref-law>).
En l'espèce, on se trouve en présence de deux litiges joints opposant, d'une part, l'assurée à Mutuel et, d'autre part, Progrès Assurances SA à Mutuel. L'<ref-law>, qui prévoit un émolument réduit en cas de litige entre un assuré et un assureur social portant sur des prestations d'assurance sociale, ne vise pas les litiges entre assureurs auxquels s'applique la règle générale de l'<ref-law> (voir les arrêts 8C_552/2009 du 8 avril 2010, consid. 6; 9C_799/2007 du 25 avril 2008, consid. 4). Il se justifie par conséquent de fixer les frais judiciaires de l'instance fédérale à 3'000 fr. et de les répartir de la manière suivante: 2'400 fr. à charge de Progrès Assurances SA et 600 fr. à charge de M._.
Par ailleurs, le recourant n'a pas droit à des dépens en sa qualité d'organisation chargée de tâches de droit public (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement du Tribunal administratif du canton de Berne du 18 octobre 2010 est annulé.
2. Les frais judiciaires, arrêtés à 3'000 fr., sont mis pour 600 fr. à charge de M._ et pour 2'400 fr. à charge de Progrès Assurances SA.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Berne, Cour des affaires de langue française, et à l'Office fédéral de la santé publique.
Lucerne, le 1er décembre 2011
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
La Juge présidant: Leuzinger
Le Greffier: Beauverd