Faits: A. M._, née en 1967, travaille en qualité d'assistante notariale auprès de l'Etude X._. A ce titre, elle est assurée obligatoirement contre le risque d'accident auprès de Mutuel Assurances (ci-après: Mutuel). Le 8 juin 2009, l'employeur de l'assurée a informé Mutuel que celle-ci s'était retourné le majeur de la main droite en retirant sa chaussette, le 18 mai précédent. Le docteur D._, spécialiste en chirurgie plastique et reconstructive et en chirurgie de la main, a diagnostiqué une déchirure de la sangle de l'appareil extenseur du médius droit au niveau de l'articulation métacarpo-phalangienne et du côté radial. Ce médecin a procédé à une suture le 3 juin 2009. Après avoir requis l'avis de son médecin-conseil, le docteur G._, spécialiste en orthopédie et traumatologie, Mutuel a rendu une décision le 7 juillet 2009, confirmée sur opposition le 10 décembre suivant, par laquelle il a nié le droit de l'assurée à des prestations de l'assurance-accidents, motif pris que l'événement du 18 mai 2009 n'était pas un accident et que ses suites ne constituaient pas, par ailleurs, une lésion corporelle assimilée à un accident. B. M._ et son assureur-maladie, Progrès Assurances SA, ont recouru contre cette décision sur opposition devant le Tribunal administratif du canton de Berne. Par jugement du 18 octobre 2010, la juridiction cantonale a annulé la décision sur opposition attaquée et renvoyé la cause à Mutuel pour qu'il fixe les prestations dues à l'assurée en raison de l'atteinte au médius droit. C. Mutuel interjette un recours en matière de droit public en concluant, sous suite de frais et dépens, à la réformation du jugement attaqué en ce sens que l'assurée n'a pas droit à des prestations de l'assurance-accidents. A l'appui de son recours, il produit un rapport du docteur G._ du 15 novembre 2010. M._ conclut au rejet du recours sous suite de frais et dépens, ce que demande également Progrès Assurances SA. De leur côté, la juridiction cantonale et l'Office fédéral de la santé publique ont renoncé à présenter des déterminations.