Faits : A. A._, né en 1976, est agriculteur indépendant. Le 2 août 2011, il s'est déboîté le genou droit en voulant retenir une vache par le collier. Il a consulté son médecin traitant, le docteur B._, le 7 septembre 2011, lequel l'a adressé au docteur C._, spécialiste en chirurgie orthopédique. Ce dernier l'a examiné le 19 septembre 2011. Dans un compte-rendu d'IRM du genou droit réalisé le 22 septembre, le docteur D._, médecin-chef adjoint du département de radiologie de l'Hôpital E._, a constaté une diminution importante du ligament croisé antérieur (LCA) dont il ne persistait que quelques fibres, une discrète chondropathie ainsi que de discrètes altérations au niveau des deux ménisques près de son insertion. Il a précisé que la quasi-absence du LCA devait correspondre à un status post-ancienne lésion de cette structure anatomique et qu'il était également possible qu'il y ait eu une ancienne lésion au niveau des deux ménisques. En date du 20 décembre 2011, le docteur F._, assisté du docteur C._, a pratiqué une résection de la lésion méniscale et une plastie du genou droit. L'assuré a repris son travail à 100% le 30 avril 2012. Le 4 juin 2012, A._ a annoncé l'événement du 2 août 2011 au Groupe Mutuel Assurances auprès de laquelle il était assuré contre le risque d'accidents. Après avoir interrogé l'intéressé sur les circonstances de l'accident et ses antécédents (rapport d'entretien du 11 juillet 2012) et recueilli des informations complémentaires auprès du docteur C._, l'assureur-accident a soumis le cas à son médecin-conseil, le docteur G._. Celui-ci a retenu que la pathologie mise à jour par l'IRM du 22 septembre 2011 n'était pas en lien de causalité naturelle avec l'événement du 2 août précédent mais avec une ancienne lésion du LCA remontant à 2005 à la suite d'une entorse subie par l'assuré en jouant au football. Le seul élément traumatique attribuable à l'incident annoncé était l'épaississement du ligament collatéral interne constaté sur l'IRM, pour lequel on pouvait fixer le statu quo sine à quatre mois. Sur cette base, le Groupe Mutuel a refusé de prendre en charge le cas au-delà du 1er décembre 2011 (décision du 3 septembre 2012). L'assuré a formé opposition contre cette décision en produisant un avis du docteur C._ (du 12 octobre 2012). Le 25 octobre 2012, le Groupe Mutuel a écarté l'opposition en se fondant sur une nouvelle appréciation du docteur G._ (du 15 octobre 2012). B. L'assuré a déféré la décision sur opposition du 25 octobre 2012 à la Cour des assurances sociales du Tribunal cantonal fribourgeois, qui a rejeté le recours (jugement du 17 décembre 2013). C. A._ interjette un recours en matière de droit public. Sous suite de frais et dépens, il conclut à l'annulation du jugement cantonal et au renvoi de la cause à l'instance précédente pour instruction complémentaire sous la forme d'une expertise judiciaire. Le Groupe Mutuel conclut au rejet du recours. L'Office fédéral de la santé publique a renoncé à se déterminer.