Faits:
A. B._, né en 1961, est enseignant à l'école X._. A ce titre, il est obligatoirement assuré contre le risque d'accidents auprès du Groupe Mutuel Assurances GMA SA (ci-après: le Groupe Mutuel).
Le 7 juillet 2008, l'employeur a transmis à l'assureur-accidents une déclaration de sinistre bagatelle LAA dans laquelle il était indiqué que le 25 juin 2008, B._ était tombé et s'était tapé l'épaule droite au cours d'un match de football entre professeurs et élèves. Les premiers soins avaient été donnés par le docteur S._, qui avait conclu à une contusion de l'épaule.
Durant les vacances scolaires qui ont débuté le 28 juin 2008, B._ est parti au Canada. A son retour, en raison de la persistance de ses douleurs à l'épaule droite, il a consulté à nouveau le docteur S._. Une IRM réalisée le 30 septembre 2008 a mis en évidence une déchirure complète du tendon du muscle sus-épineux avec rétraction du tendon jusqu'à la hauteur du bourrelet supérieur. Invité à répondre à un questionnaire du Groupe Mutuel, le docteur O._, auquel l'assuré avait été adressé par son médecin traitant, a posé le diagnostic de rupture massive de la coiffe des rotateurs; à la question de savoir quelle était l'étiologie de cette lésion, le médecin a répondu: "accident + chronique".
Par décision du 5 février 2009, le Groupe Mutuel a refusé de prendre en charge le cas au-delà du 30 septembre 2008. Se fondant sur l'avis de son médecin-conseil, le docteur D._, il a considéré que l'atteinte diagnostiquée par IRM n'avait pas pu être causée par l'événement du 25 juin 2008 lequel n'avait fait qu'aggraver momentanément un état dégénératif préexistant. L'assuré a formé opposition contre la décision en produisant plusieurs certificats médicaux (des docteurs S._, O._ et L._) allant tous dans le sens de l'existence d'un lien de causalité (au moins partiel) entre la rupture de la coiffe des rotateurs et l'événement du 25 juin 2008. Intras, assureur-maladie de l'intéressé, a également formé opposition.
En cours de procédure, l'assuré a été examiné par le docteur D._ (appréciation du 4 avril 2009). Sur cette base, l'assureur-accidents a rendu le 1er décembre 2009 une nouvelle décision, par laquelle il a écartée les deux oppositions.
Dans l'intervalle, en octobre 2009, B._ a été opéré. Il a subi une seconde intervention au début de l'année 2011 en raison d'une récidive de la rupture.
B. L'assuré a recouru contre la décision sur opposition du Groupe Mutuel devant la Cour des assurances sociales du Tribunal cantonal vaudois.
Après avoir ordonné une expertise judiciaire qu'il a confiée au docteur W._ (rapport d'expertise du 30 novembre 2010; rapport complémentaire du 11 mars 2011), le tribunal cantonal a rejeté le recours, par jugement du 22 juin 2011.
C. B._ interjette un recours en matière de droit public contre le jugement cantonal, dont il requiert l'annulation. Sous suite de frais et dépens, il invite le Tribunal fédéral à constater qu'il a droit aux prestations légales LAA au-delà du 30 septembre 2008 pour les suites de l'événement du 25 juin 2008.
Le Groupe Mutuel conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.
Considérant en droit:
1. Le litige porte sur le droit de B._ à des prestations du Groupe Mutuel au-delà du 30 septembre 2008. Il s'agit plus particulièrement de déterminer si la rupture de la coiffe des rotateurs constatée à cette date est en relation de causalité avec l'événement du 25 juin 2008.
2. 2.1 Le Tribunal fédéral est lié par les faits constatés par les premiers juges (art. 105 al. 1 LTF), à moins qu'ils aient été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF. Si la décision qui fait l'objet d'un recours concerne l'octroi ou le refus de prestations en espèces de l'assurance-accidents ou de l'assurance-militaire, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente et le recours peut porter sur toute constatation incomplète ou erronée des faits (art. 97 al. 2 et 105 al. 3 LTF).
2.2 Le recourant a subi deux opérations à l'épaule droite. Bien que le dossier ne contienne aucune information précise à ce sujet, on peut penser que ces interventions ont entraîné une incapacité de travail pouvant donner lieu à l'allocation d'indemnités journalières (art. 16 LAA). Dès lors que d'autres prestations (en espèces) que le traitement médical (prestation en nature) sont susceptibles d'entrer en ligne de compte dans le cadre du présent litige, le Tribunal fédéral dispose d'un pouvoir d'examen étendu en ce qui concerne les faits communs aux deux types de prestations (voir arrêt 8C_584/2009 du 2 juillet 2010 consid. 4).
3. Le jugement entrepris expose les dispositions légales et la jurisprudence applicables en l'espèce, de sorte qu'il suffit d'y renvoyer.
On rappellera que les lésions mentionnées à l'art. 9 al. 2 OLAA, dont font partie les ruptures de la coiffe des rotateurs (let. f), sont assimilées à un accident même si elles ont, pour l'essentiel, une origine vraisemblablement maladive ou dégénérative, pour autant qu'une cause extérieure ait, au moins, déclenché les symptômes dont souffre l'assuré (ATF 129 V 466; 123 V 43 consid. 2b p. 44; 116 V 145 consid. 2c p. 147; 114 V 298 consid. 3c p. 301). Si, par contre, une telle lésion est survenue sans avoir été déclenchée par un facteur extérieur soudain et involontaire, elle est manifestement imputable à une maladie ou à des phénomènes dégénératifs et il appartient à l'assurance-maladie d'en prendre en charge les suites.
En outre, si l'on peut admettre qu'un accident n'a fait que déclencher un processus qui serait de toute façon survenu sans cet événement, le lien de causalité naturelle entre les symptômes présentés par l'assuré et l'accident doit être nié lorsque l'état maladif antérieur est revenu au stade où il se trouvait avant l'accident (statu quo ante) ou s'il est parvenu au stade d'évolution qu'il aurait atteint sans l'accident (statu quo sine) (SVR 2009 UV n° 3 p. 9, arrêt 8C_354/2007 du 4 août 2008 consid. 2.2; FRÉSARD/MOSER-SZELESS, L'assurance-accidents obligatoire, in: Schweizerisches Bundesverwaltungsrecht [SBVR], Soziale Sicherheit, vol. XIV, 2ème éd., no 80 p. 865).
4. 4.1 En bref, la juridiction cantonale a attribué pleine valeur probante à l'expertise judiciaire du docteur W._. Elle en a déduit que la rupture massive de la coiffe des rotateurs de l'épaule droite diagnostiquée chez l'assuré après le 30 septembre 2008 ne pouvait être rattachée à l'événement du 25 juin 2008 et avait une origine exclusivement dégénérative. Aussi, a-t-elle jugé, au regard de la jurisprudence topique sur les lésions assimilées, que le Groupe Mutuel avait à juste titre refusé d'en prendre en charge les suites.
4.2 Le recourant conteste ce point de vue. Pour l'essentiel, il critique le rapport d'expertise et estime qu'au regard des conclusions concordantes des avis médicaux qu'il a produits, on ne saurait admettre que la chute du 25 juin 2008 n'a joué aucun rôle dans le développement de sa lésion à la coiffe des rotateurs.
5. 5.1 Selon le docteur W._, l'événement du 25 juin 2008 a entraîné une contusion de l'épaule droite et révélé une ancienne rupture asymptomatique de la coiffe des rotateurs; après trois mois, le statu quo sine est atteint, l'évolution au-delà de cette date étant déterminée "de façon prépondérante" par l'état antérieur de la coiffe des rotateurs.
5.2 On ne pourrait toutefois parler de statu quo sine que si, après ce laps de temps, l'évolution de l'épaule droite aurait été la même sans l'événement assuré (voir le consid. 3 supra). Alors seulement, il y aurait lieu d'admettre le caractère exclusivement dégénératif de la lésion tendineuse au 30 septembre 2008. Or, ce n'est pas ce qu'a dit l'expert. Le terme "prépondérant" (plus de 50 pour cent) qu'il a employé à deux reprises dans son rapport d'expertise (voir la page 11) donne à penser que l'événement assuré joue encore un rôle, ce qui rejoindrait les autres avis médicaux au dossier. Dans la mesure où il subsiste un doute sur ce que l'expert a voulu exprimer, les premiers juges n'étaient pas fondés, sur la base des considérations médicales de celui-ci, à confirmer la décision sur opposition de l'intimée. Il convient donc de retourner la cause aux premiers juges afin qu'ils demandent des éclaircissements à l'expert et, ensuite, mais seulement si cela devait s'avérer nécessaire, qu'ils ordonnent une nouvelle expertise.
Dans cette mesure, le recours est bien fondé.
6. Le recourant obtient gain de cause, de sorte qu'il peut prétendre une indemnité de dépens à la charge du Groupe Mutuel (art. 68 al. 1 LTF). Ce dernier supportera également les frais de justice (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement de la Cour des assurances sociales du Tribunal cantonal vaudois du 22 juin 2011 est annulé, la cause étant renvoyée à cette autorité pour instruction complémentaire au sens des motifs et nouveau jugement.
2. Les frais de justice, arrêtés à 750 fr., sont mis à la charge de l'intimé.
3. Le Groupe Mutuel versera au recourant un montant de 2'800 fr. (y compris la taxe à la valeur ajoutée) à titre de dépens pour la procédure fédérale.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 23 août 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: von Zwehl