Faits :
A.
A.a. A._, né en 1971, était engagé depuis le 15 août 1994 en tant qu'employé de production auprès de l'entreprise B._ SA et était à ce titre assuré obligatoirement contre le risque d'accident auprès d'AXA Assurances SA (ci-après: AXA). Le 21 août 2017, alors qu'il était en train de nettoyer la machine à dosettes, il s'est cogné l'épaule droite dans la porte de la machine en se relevant. Le lendemain, il s'est rendu au Centre médical C._, où le diagnostic de contusion musculaire du deltoïde simple a été posé. Un traitement conservateur a été prescrit. Le prénommé n'a pas été en incapacité de travail. Une IRM réalisée le 11 septembre 2017 a fait état d'une déchirure transfixiante du tendon du sous-épineux et du tendon du sus-épineux. Le docteur D._, spécialiste FMH en chirurgie orthopédique, a attesté une incapacité de travail de 50 % dès le 4 octobre 2017, puis de 100 % dès le 13 novembre 2017, date à laquelle l'assuré s'est soumis à une réparation arthroscopique de la coiffe droite par suture du sus-épineux et du sous-épineux. A partir du 24 avril 2018, il a progressivement repris son travail.
A.b. Se fondant sur le rapport de son médecin-conseil, le docteur E._, spécialiste FMH en chirurgie orthopédique, du 17 janvier 2018, AXA a rendu le 19 février 2018 une décision par laquelle elle a mis un terme au versement de ses prestations au 11 septembre 2017, au motif qu'à partir de cette date, il n'existait plus de lien de causalité entre l'évènement assuré et les troubles allégués. Le 2 juillet 2018, elle a rejeté l'opposition formée par l'assuré contre cette décision.
B.
Saisie d'un recours contre la décision sur opposition du 2 juillet 2018, la Cour de droit public du Tribunal cantonal du canton de Neuchâtel l'a admis par jugement du 10 mai 2019. Elle a annulé la décision attaquée et a renvoyé la cause à AXA pour nouvelle décision au sens des considérants. Elle a considéré en résumé que la déchirure tendineuse constituait une lésion assimilée à un accident au sens de l'art. 6 al. 2 LAA et que le rapport du docteur E._ ne suffisait pas pour établir de façon manifeste le caractère exclusivement dégénératif des lésions, ni au moment de l'accident ni postérieurement. Dès lors, il incombait à AXA d'allouer les prestations d'assurance au-delà du 11 septembre 2017 et le cas échéant d'examiner à nouveau à partir de quelle date le status quo sine vel ante aura été atteint.
C.
AXA interjette un recours contre ce jugement, en concluant principalement à sa réforme dans le sens de la confirmation de la décision sur opposition du 2 juillet 2018 et subsidiairement à son annulation et au renvoi de la cause à l'autorité précédente pour nouvelle décision.
L'intimé conclut au rejet du recours. L'Office fédéral de la santé publique ne s'est pas déterminé.

Considérant en droit :
1.
1.1. Le recours est recevable contre les décisions finales, à savoir contre les décisions qui mettent fin à la procédure (art. 90 LTF), et contre les décisions partielles, soit celles qui statuent sur un objet dont le sort est indépendant de celui qui reste en cause (art. 91 let. a LTF) ou qui mettent fin à la procédure à l'égard d'une partie des consorts (art. 91 let. b LTF). Les décisions préjudicielles et incidentes autres que celles concernant la compétence ou les demandes de récusation (cf. art. 92 LTF) ne peuvent faire l'objet d'un recours que si elles peuvent causer un préjudice irréparable (art. 93 al. 1 let. a LTF) ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (art. 93 al. 1 let. b LTF).
1.2. En règle générale, une décision de renvoi ne met pas fin à la procédure (<ref-ruling> consid. 4.2 p. 482; arrêt 8C_819/2017 du 25 septembre 2018 consid. 1.2.1 non publié in <ref-ruling>) et n'est pas non plus de nature à causer un préjudice irréparable aux parties, le seul allongement de la durée de la procédure ou le seul fait que son coût s'en trouve augmenté n'étant pas considéré comme constitutif d'un tel dommage (<ref-ruling> précité consid. 5.2.1 et 5.2.2 p. 483). Néanmoins, si l'arrêt de renvoi ne laisse aucune latitude de jugement à l'autorité administrative appelée à statuer (à nouveau), il est assimilé à une décision finale et peut, de ce fait, faire l'objet d'un recours en matière de droit public (<ref-ruling> consid. 1.2; <ref-ruling> consid. 1.1 p. 143; arrêt 9C_611/2015 du 8 mars 2016 consid. 1.2). Lorsque l'autorité administrative à laquelle la cause est renvoyée dispose de la qualité pour recourir au Tribunal fédéral, elle doit également pouvoir attaquer un arrêt de renvoi lui enjoignant de rendre une décision qu'elle juge contraire au droit; à défaut, elle subirait en effet un préjudice irréparable au sens de l'art. 93 al. 1 let. a LTF, étant contrainte de rendre une décision qu'elle considère comme contraire au droit sans pouvoir ensuite la remettre en cause devant l'autorité de recours, respectivement devant le Tribunal fédéral (<ref-ruling> consid. 1 p. 379; <ref-ruling> consid. 1.2 p. 28 s.).
1.3. En l'espèce, le jugement attaqué s'analyse comme une décision de renvoi qui, en tant qu'elle oblige AXA à allouer les prestations d'assurance au-delà du 11 septembre 2017, à charge pour elle d'examiner à nouveau à partir de quelle date le statu quo sine vel ante aura été atteint, ne laisse aucune latitude de jugement à l'assureur-accidents appelé à statuer à nouveau et doit donc être assimilée à une décision finale.
1.4. Pour le surplus, le recours est dirigé contre un arrêt rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le droit de l'assuré à des prestations de l'assurance-accidents au-delà du 11 septembre 2017.
La procédure portant sur l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et art. 105 al. 3 LTF).
3.
Dans la mesure où l'accident est survenu le 21 août 2017, la loi sur l'assurance-accidents (LAA) dans sa teneur en vigueur dès le 1er janvier 2017 s'applique au cas d'espèce (cf. par. 1 des dispositions transitoires sur la modification de la LAA du 25 septembre 2015, RO 2016 4375, 4388).
4.
4.1. Considérant que la lésion de déchirure transfixiante des tendons du sous-épineux et du sus-épineux entrait dans la liste des lésions assimilées à un accident selon l'art. 6 al. 2 LAA, les premiers juges ont examiné si celle-ci était d'origine exclusivement dégénérative. D'après les constatations du docteur E._, il était vraisemblable qu'une atteinte dégénérative ait joué un rôle important, voire prépondérant dans la survenance de la lésion; en outre, dans la majorité des cas, une contusion simple de l'épaule guérissait sans séquelles en moins d'un mois, de sorte que le statu quo sine aurait dû être retrouvé à cette échéance. Admettant qu'il était certes probable qu'une atteinte dégénérative ait exercé une influence déterminante sur la survenance des lésions constatées, la cour cantonale a néanmoins considéré que le rapport du docteur E._ ne suffisait pas pour établir de façon manifeste le caractère exclusivement dégénératif de ces lésions, ni au moment de l'accident ni postérieurement.
4.2. La recourante fait grief à la cour cantonale d'avoir établi les faits et apprécié les preuves de manière manifestement inexacte. Selon elle, le rapport du docteur E._ du 17 janvier 2018 ne laisserait aucun doute quant à l'exclusion d'un lien de causalité entre les troubles allégués et l'évènement assuré. Par ailleurs, les premiers juges auraient violé le droit fédéral en appliquant un degré de preuve qui irait au-delà des exigences légales prévues à l'art. 6 al. 2 LAA.
5.
5.1. Les parties s'accordent sur l'existence d'une lésion qui entre dans la liste de l'art. 6 al. 2 let. f LAA (déchirure des tendons du sous- et du sus-épineux).
5.2. Dans l'arrêt 8C_22/2019 du 24 septembre 2019 (publié aux <ref-ruling>), le Tribunal fédéral a examiné les répercussions de la modification législative relative aux lésions corporelles assimilées à un accident. Il s'est notamment penché sur la question de savoir quelle disposition était désormais applicable lorsque l'assureur-accidents avait admis l'existence d'un accident au sens de l'art. 4 LPGA et que l'assuré souffrait d'une lésion corporelle au sens de l'art. 6 al. 2 LAA. Le Tribunal fédéral a admis que dans cette hypothèse, l'assureur-accidents devait prendre en charge les suites de la lésion en cause sur la base de l'art. 6 al. 1 LAA. En revanche, en l'absence d'un accident au sens juridique, le cas devait être examiné sous l'angle de l'art. 6 al. 2 LAA (<ref-ruling> consid. 9.1 p. 70; résumé dans la RSAS 1/2020 p. 33 ss; arrêt 8C_169/2019 du 10 mars 2020 consid. 5.2).
En l'espèce, la recourante a admis - à juste titre - que l'évènement du 21 août 2017 était constitutif d'un accident. Dès lors, la cause doit être examinée exclusivement sous l'angle de l'art. 6 al. 1 LAA. Le jugement attaqué ayant été rendu le 10 mai 2019, soit avant l'arrêt 8C_22/2019 du 24 septembre 2019 précité, la cour cantonale n'a pas pu tenir compte de la nouvelle jurisprudence fédérale en matière de lésions corporelles assimilées à un accident, de sorte qu'on ne saurait lui reprocher une violation du droit fédéral à cet égard.
5.3. Il reste à examiner la question du lien de causalité entre les lésions constatées et l'accident du 21 août 2017.
5.3.1. Dans un rapport du 17 janvier 2018, le docteur E._ a pris position sur l'existence d'un lien de causalité naturelle entre l'évènement du 21 août 2017 et les troubles allégués par l'assuré et l'a exclu pour les raisons suivantes: l'âge du patient; l'action vulnérante de l'événement; le fait qu'il n'y avait pas eu d'arrêt de travail dans les suites de cet évènement; l'IRM du 11 septembre 2017. D'après ce médecin-conseil, une contusion simple de l'épaule guérissait sans séquelles en moins d'un mois, de sorte qu'il fallait considérer que le statu quo sine de l'évènement du 21 août 2017 avait été retrouvé à cette échéance, notamment après l'IRM qui avait permis d'exclure la présence de lésions traumatiques objectivables.
5.3.2. L'intimé y oppose le rapport du docteur D._ du 27 mars 2018, dans lequel celui-ci soutient que l'IRM était de nature à bien expliquer les suites du traumatisme du 21 août 2017, dans la mesure où une déchirure transfixiante de la coiffe était notée sans amyotrophie décelée, ce qui rendait compte de l'aspect nouveau, soudain et non dégénératif de la coiffe. En outre, une contusion modérée du muscle sous-épineux dans sa partie distale était visible, ce qui était également un signe pour un élément nouveau, contrairement à ce qui était dit dans le rapport du médecin-conseil de l'assurance, où celui-ci notait une absence de lésion traumatique visible à l'IRM sur la face supérieure de l'épaule. D'après ce spécialiste, l'IRM montrait donc bel et bien un élément traumatique récent. Les éléments dégénératifs étaient donc bien faibles compte tenu de l'aspect aigu des symptômes présentés immédiatement et dans les deux semaines après le traumatisme d'août 2017. Du point de vue objectif, l'IRM montrait une absence d'amyotrophie, alors qu'en cas de troubles dégénératifs celle-ci aurait dû être présente. Le docteur D._ en a conclu qu'il existait un lien de causalité entre l'accident du 21 août 2017 et les troubles présentés par le patient.
5.3.3. Lorsqu'un cas d'assurance est réglé sans avoir recours à une expertise dans une procédure au sens de l'art. 44 LPGA, l'appréciation des preuves est soumise à des exigences sévères: s'il existe un doute même minime sur la fiabilité et la validité des constatations d'un médecin de l'assurance, il y a lieu de procéder à des investigations complémentaires (<ref-ruling> consid. 5.2 p. 229; <ref-ruling> consid. 4.4 p. 470).
En l'espèce, il existe bien de tels doutes sur les conclusions du docteur E._. Dans son rapport du 27 mars 2018, le docteur D._ a exposé que les imageries réalisées trois semaines après l'évènement accidentel démontraient bel et bien l'existence d'éléments parlant en faveur d'une origine traumatique des atteintes. Il a notamment relevé la présence d'une contusion modérée du muscle sous-épineux dans sa partie distale. Cet aspect, qui correspond par ailleurs aux constatations faites dans le rapport d'IRM, n'a pourtant pas été abordé par le docteur E._. Ce dernier a affirmé de manière péremptoire que l'IRM ne montrait aucune lésion traumatique, notamment de la face supérieure de l'épaule qui avait heurté la face inférieure de la portière de l'armoire. Les appréciations des deux médecins s'opposent aussi quant à l'existence respectivement à l'absence d'une amyotrophie des muscles concernés (sous-épineux et sus-épineux), laquelle serait même "avancée" selon les dires du docteur E._, alors que dans le rapport d'IRM il est indiqué "absence d'atrophie musculaire". Les autres facteurs cités par le docteur E._, tels que l'âge de l'assuré, l'absence d'arrêt de travail dans les suites immédiates de l'accident ou encore la présence d'un état antérieur à l'épaule droite sont, certes, à prendre en considération dans une appréciation globale. Toutefois, compte tenu de la période relativement courte entre la survenance de l'accident et la cessation des prestations d'assurance, ces facteurs ne sauraient avoir une prévalence sur les constatations faites par imageries, dont l'interprétation est contestée de manière circonstanciée.
5.4. Lorsqu'il existe des doutes sur la fiabilité et la pertinence de l'appréciation du médecin-conseil, il appartient en premier lieu à l'assureur-accidents de procéder à des instructions complémentaires pour établir d'office l'ensemble des faits déterminants et, le cas échéant, d'administrer les preuves nécessaires avant de rendre sa décision (art. 43 al. 1 LPGA; <ref-ruling> consid. 5 p. 374; arrêt 8C_401/2019 du 9 juin 2020 consid. 5.3.3 et ses références). Dès lors, la cause ne sera pas renvoyée à l'autorité précédente, comme le requiert la recourante, mais à cette dernière, afin qu'elle mette en oeuvre une expertise dans une procédure au sens de l'art. 44 LPGA et qu'elle rende une nouvelle décision. Dans cette mesure, le recours se révèle bien fondé.
6.
En ce qui concerne la répartition des frais judiciaires et des dépens, le renvoi de la cause pour nouvel examen et décision revient à obtenir gain de cause au sens des art. 66 al. 1 et 68 al. 1 et 2 LTF, indépendamment du fait qu'une conclusion ait ou non été formulée à cet égard, à titre principal ou subsidiaire (<ref-ruling> consid. 7.1 p. 271; arrêt 8C_465/2017 du 12 janvier 2018 consid. 5, non publié in <ref-ruling>). L'intimé, qui succombe, supportera les frais de justice (art. 66 al. 1 LTF). Bien qu'elle obtienne gain de cause, la recourante n'a pas droit à une indemnité de dépens (art. 68 al. 3 LTF). Vu l'issue du litige, il n'y a pas lieu de modifier la décision de l'autorité précédente sur les dépens (art. 68 al. 5 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est partiellement admis. La décision de la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel du 10 mai 2019 et la décision sur opposition de l'AXA Assurances SA du 2 juillet 2018 sont annulées. La cause est renvoyée à la recourante pour instruction complémentaire et nouvelle décision. Le recours est rejeté pour le surplus.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge de l'intimé.
3.
Le présent arrêt est communiqué aux parties, à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel et à l'Office fédéral de la santé publique.
Lucerne, le 9 juillet 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Elmiger-Necipoglu