Faits :
A.
A.a. A._ travaillait comme moniteur dans les ateliers B._ et était, à ce titre, assuré contre les accidents par La Caisse Vaudoise, assurance en cas de maladie et accidents (ci-après: la Vaudoise).
Le 27 mars 2001, alors qu'il promenait son chien, ce dernier a aperçu un autre chien et a tiré fortement sur sa laisse. L'assuré a ressenti une vive douleur à l'épaule droite et une difficulté à la mouvoir. Le 29 mars 2001, il s'est à nouveau fait mal à l'épaule droite en tirant sur un transpalette. Il s'est rendu à la Permanence chirurgicale C._, où le diagnostic de conflit sous-acromial sur lésion du sus-épineux de l'épaule droite a été posé. Une IRM de l'épaule droite réalisée le 29 mai 2001 a mis en évidence une déchirure complète du tendon sus-épineux. Le 5 juillet suivant, le docteur D._ a pratiqué une intervention chirurgicale (réinsertion d'une lésion complète du sus-épineux, ténodèse du long chef du biceps dans sa gouttière, fermeture de l'intervalle de la coiffe, acromioplastie de l'épaule droite); lors de l'opération, il a constaté une déchirure du ligament coraco-huméral. Dans un compte-rendu du 28 mars 2003 adressé à la Vaudoise, ce chirurgien a fait état d'une évolution favorable ainsi que d'une récupération fonctionnelle complète et indolore (sauf un passage sensible à 120° en abduction), et attesté une capacité de travail entière dès le 15 janvier 2003. Il a précisé que cette épaule resterait plus fragile et susceptible de se décompenser occasionnellement. Il a fixé le taux d'atteinte à l'intégrité à 5 %.
Après que la Vaudoise a rendu une décision de refus de prise en charge et que l'assuré s'y est opposé, une transaction a été conclue entre les parties portant (à bien plaire) sur la prise en charge du traitement hospitalier ainsi que sur le droit à une indemnité pour atteinte à l'intégrité.
A.b. Par lettres des 28 juin, 10 octobre et 21 décembre 2005, l'assuré a demandé à la Vaudoise l'octroi d'une rente d'invalidité en raison de troubles persistants à son épaule droite. Entre-temps, il a été mis au bénéfice d'une demi-rente d'invalidité dès janvier 2005 puis d'une rente entière à partir de mai 2005 de l'assurance-invalidité pour l'ensemble de ses problèmes de santé (épaule, genou et dos). Par décision et décision sur opposition des 19 janvier et 15 juin 2006, l'assureur-accidents a refusé d'entrer en matière sur sa demande de rente. A._ a recouru jusqu'au Tribunal fédéral, qui a renvoyé la cause à la Vaudoise pour qu'elle statue sur le droit éventuel de l'assuré à une rente à raison des événements des 27 et 29 mars 2001 (arrêt du 24 septembre 2007; cause U 378/06).
A.c. A la suite de cet arrêt, la Vaudoise a mandaté le docteur E._ pour une expertise (rapport du 19 juillet 2008), sur la base de laquelle elle a nié le droit à une rente dès le 1er juillet 2005 (décision du 18 septembre 2008). L'assuré a formé opposition contre cette décision et produit une expertise privée du docteur F._ (rapport du 8 mai 2009). Le 15 juin 2009, l'assureur-accidents a écarté l'opposition.
B.
B.a. Par jugement du 27 juillet 2010, la Cour des assurances sociales du Tribunal cantonal vaudois a admis le recours en ce sens que la décision sur opposition litigieuse est annulée et la cause renvoyée à la Vaudoise pour nouvelle décision au sens des considérants. En bref, les juges vaudois ont retenu qu'en ce qui concernait les suites immédiates des événements, l'expertise du 19 juillet 2008 du docteur E._ ne permettait pas d'établir le caractère exclusivement dégénératif de l'atteinte, même s'il était évident que des troubles dégénératifs avaient exercé une influence déterminante. Ils ont donc admis l'existence d'une lésion assimilée à un accident et renvoyé le dossier pour la question du statu quo sine au 1er avril 2003 - moment à partir duquel l'assuré demandait nouvellement une rente LAA -, les docteurs F._ et G._ (médecin-conseil de la Vaudoise) ne s'étant pas du tout prononcés sur ce point tandis que le docteur E._ avait fourni une réponse peu claire à ce sujet.
B.b. A._ a demandé à la Vaudoise de mandater le docteur F._ pour compléter l'instruction, s'opposant à la désignation du docteur E._. Le 5 novembre 2010, l'assureur-accidents l'a informé que l'instruction complémentaire serait effectuée auprès du docteur E._. Le 10 décembre 2010, ce médecin a rendu son rapport complémentaire. Après que l'assuré a introduit une procédure pour déni de justice, la Vaudoise a rendu une décision incidente le 30 mars 2011, par laquelle elle a rejeté la demande de récusation du docteur E._. Par une autre décision du même jour (confirmée sur opposition le 27 mai 2011), elle a derechef nié le droit de A._ à une rente.
B.c. L'assuré a recouru contre ces deux dernières décisions devant le Tribunal cantonal vaudois, qui a décliné sa compétence et transmis les deux recours au Tribunal cantonal du canton de Fribourg (ce qui a été confirmé par le Tribunal fédéral le 10 mai 2012; causes 8C_565/2011 et 8C_832/2011). Par jugement du 3 juillet 2013, la Cour des assurances sociales du Tribunal cantonal fribourgeois a joint les procédures et rejeté les recours.
C.
A._ interjette un recours en matière de droit public contre ce jugement. Sous suite de frais et dépens, il conclut, principalement, à sa réforme en ce sens qu'une rente d'invalidité LAA de 30 % lui est allouée depuis le 1er avril 2003; subsidiairement à l'annulation de ce jugement.
La Vaudoise conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.

Considérant en droit :
1.
1.1. Le litige porte sur le droit éventuel du recourant à une rente LAA à partir du 1er avril 2003 en raison des événements des 27 et 29 mars 2001.
1.2. Le jugement attaqué portant sur des prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (<ref-law>).
2.
2.1. Les lésions mentionnées à l'<ref-law>, dont font partie les ruptures de la coiffe des rotateurs (let. f), sont assimilées à un accident même si elles ont, pour l'essentiel, une origine vraisemblablement maladive ou dégénérative, pour autant qu'une cause extérieure ait, au moins, déclenché les symptômes dont souffre l'assuré (<ref-ruling> consid. 3.1 p. 328; <ref-ruling>; <ref-ruling> consid. 2b p. 44; <ref-ruling> consid. 2c p. 147; <ref-ruling> consid. 3c p. 301).
2.2. Le droit aux prestations pour une lésion assimilée à un accident prend fin lorsque le retour à un statu quo ante ou à un statu quo sine est établi, c'est-à-dire lorsque l'état de santé est similaire à celui qui existait immédiatement avant l'accident ou à celui qui serait survenu même sans l'accident par la suite d'un développement ordinaire. Toutefois, de telles lésions seront assimilées à un accident aussi longtemps que leur origine maladive ou dégénérative, à l'exclusion d'une origine accidentelle, n'est pas clairement établie. On ne se fondera donc pas simplement sur le degré de vraisemblance prépondérante pour admettre l'évolution d'une telle atteinte vers un statu quo sine (cf. arrêts 8C_347/2013 du 18 février 2014 consid. 3.2, 8C_698/2007 du 27 octobre 2008 consid. 4.2, 8C_551/2007 du 8 août 2008 consid. 4.1.2, et 8C_357/2007 du 31 janvier 2008 consid. 2).
3.
La cour cantonale fribourgeoise a tout d'abord examiné si l'assureur-accidents était fondé à rejeter la demande de récusation de l'assuré à l'encontre du docteur E._. A cet égard, elle a rappelé que lorsque la Vaudoise avait mandaté ce médecin pour une expertise orthopédique à la suite de l'arrêt de renvoi du Tribunal fédéral (du 24 septembre 2007), l'assuré avait eu l'occasion de lui poser des questions sur son indépendance vis-à-vis des assureurs et n'avait formulé aucun motif de récusation à son endroit. En ce qui concernait la désignation, par la Vaudoise, de ce même médecin pour procéder au complément d'instruction requis par le Tribunal cantonal vaudois dans son jugement de renvoi du 27 juillet 2010, elle n'était pas critiquable. En effet, le motif du renvoi de la juridiction cantonale résidait dans le fait qu'aucun des experts ne s'était exprimé de manière claire et précise sur la question du statu quo sine ou ante au 1er avril 2003. L'assureur-accidents pouvait donc demander au docteur E._ d'éclaircir sa réponse à cette question sans que la circonstance que celui-ci s'était déjà prononcé sur le cas ne constituât un motif propre à justifier sa récusation. Sur le fond, la cour cantonale fribourgeoise s'est ralliée à l'expertise du docteur E._ du 19 juillet 2008 et à son complément du 10 décembre 2010 dont il ressortait que le statu quo sine avait en tout cas été atteint en janvier 2003, date du dernier examen clinique de l'assuré par le docteur D._. Partant, elle a nié le droit de l'assuré à une rente.
4.
Le recourant reproche à la cour cantonale fribourgeoise d'avoir accordé une pleine valeur probante à l'avis du docteur E._. Il estime que du moment où les réponses apportées par cet expert dans son rapport du 19 juillet 2008 avaient été qualifiées - à juste titre - de contradictoires par le Tribunal cantonal vaudois, le choix d'un autre expert s'imposait pour exécuter le complément d'instruction sur la question du statu quo sine. Dans son rapport du 10 décembre 2010, le docteur E._ n'avait au demeurant que tenté de justifier a posteriori son point de vue contradictoire. Le recourant fait également grief aux juges cantonaux fribourgeois d'avoir retenu une évolution vers un statu quo sine au 1er avril 2003 en se référant à la règle de la vraisemblance prépondérante alors que la jurisprudence déduite de l'<ref-law> commandait que l'origine dégénérative de l'atteinte soit clairement établie pour fonder la fin du droit aux prestations. En tout état de cause, la réalisation d'une nouvelle expertise était nécessaire, vu les avis exprimés par les docteurs F._, H._ et son médecin traitant, I._.
5.
5.1. Selon la jurisprudence, un expert ne peut pas être révoqué parce qu'il a déjà eu l'occasion par le passé de réaliser une expertise au sujet de la personne concernée, pour autant cependant que le résultat de la procédure apparaisse ouvert en ce qui concerne les faits concrets et les questions juridiques à résoudre, et qu'il n'y ait objectivement pas d'apparence de prévention (<ref-ruling> consid. 7.2.2 p. 110). L'expert est en principe considéré comme indépendant lorsqu'il doit répondre à d'autres questions ou uniquement expliquer ou compléter sa première expertise. Tel n'est en revanche pas le cas lorsqu'il est chargé de réexaminer ou de contrôler objectivement le bien-fondé de son rapport précédent (cf. arrêt 8C_89/2007 du 20 août 2008 consid. 6.2). Il n'y a pas non plus de prévention inadmissible lorsque l'expert aboutit à des conclusions défavorables (à une partie) (sur cette problématique voir SUSANNE BOLLINGER/ULRICH MEYER/MARGIT MOSER-SZELESS, L'expertise médicale (en particulier psychiatrique), in Douleur et Analgésie, vol. 24, août 2011, p. 34; également JACQUES OLIVIER PIGUET, Le choix de l'expert et sa récusation, in HAVE/REAS 2/2011 p. 133).
5.2. On peut certes reconnaître une certaine contradiction dans les réponses que le docteur E._ a fournies dans son expertise du 19 juillet 2008 aux questions de l'intimée n° 5 à 7. Cet expert a conclu à une causalité "possible mais pas probable" entre les événements assurés et l'état de l'épaule à partir de juillet 2005 et évoqué un "rôle fortement prépondérant" des troubles dégénératifs préexistants. Tout à la fois, il a considéré que la question de savoir quand le statu quo sine avait été atteint était devenue "sans objet" au vu de ses explications précédentes. Or les termes "possible" et "fortement prépondérant" qu'il a employés donnent à penser que les événements assurés exercent encore une influence sur l'état de l'épaule droite du recourant, ce qui maintient la question du statu quo sine ouverte (voir le consid. 2.2. supra) et ne la rend pas sans objet comme il le dit. Toutefois, contrairement à ce que soutient le recourant, cette contradiction pouvait être éclaircie en demandant au même expert d'expliquer et de préciser le sens de ses conclusions. On ne voit pas en effet que dans son expertise du 19 juillet 2008, le docteur E._ ait pris position au sujet de la question litigieuse du statu quo sine de manière telle qu'il ne semble plus exempt de préjugés. Le motif de récusation invoqué par le recourant se révèle ainsi infondé.
6.
Sur le fond, les critiques du recourant doivent également être rejetées.
Dans son rapport complémentaire du 10 décembre 2010, le docteur E._ a expliqué qu'il avait utilisé le terme de lien de causalité naturelle possible pour désigner une probabilité infime avoisinant, dans le cas du recourant, à l'exclusion. Il a déclaré que ce lien pouvait manifestement être exclu au plus tard en janvier 2003, lorsque l'assuré avait pu reprendre son travail et que le docteur D._ attestait une récupération fonctionnelle complète, sans faiblesse ni signes de conflits résiduels. L'accident ne jouait alors plus aucun rôle dans l'état de l'épaule droite de l'assuré et les éventuels troubles résiduels avaient un caractère exclusivement dégénératif ou maladif. Ces précisions, claires et sans équivoque, permettent de dénouer l'apparente incohérence contenue dans son expertise précédente et de trancher la question de la responsabilité de l'intimée.
A l'aune de la règle particulière de preuve posée par la jurisprudence applicable aux lésions assimilées, il en ressort que l'origine exclusivement dégénérative des troubles est établie de manière manifeste à partir du 1er avril 2003, de sorte que l'intimée était fondée à rendre une décision de refus de rente. C'est en vain que le recourant se réfère aux autres expertises au dossier dans lesquelles seule l'existence d'une causalité dans les suites immédiates des événements assurés avait été discutée et non pas l'évolution vers un statu quo sine. Enfin, en l'absence d'indice objectif contraire, il n'y a pas de motif de douter des constatations effectuées par le docteur D._ à l'issue de son examen clinique du 14 janvier 2003, sur lesquelles le docteur E._ s'est notamment appuyé pour rendre son avis complémentaire. Le recourant n'en fournit au demeurant aucun.
Il s'ensuit que le recours doit être rejeté.
7.
Le recourant, qui succombe, supportera les frais judiciaires et ses propres dépens (art. 66 al. 1 et art. 68 al. 1 LTF). L'intimée n'a pas droit aux dépens qu'elle prétend (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêté à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal fribourgeois et à l'Office fédéral de la santé publique.
Lucerne, le 13 août 2014
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Juge présidant : La Greffière :
Ursprung von Zwehl