Faits :
A.
A._ a travaillé en qualité d'agent de détention auprès de la prison B._. Le 20 août 2006, il a fait une chute lors d'une course à VTT et s'est fracturé la clavicule gauche. La Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA), auprès de laquelle il était assuré obligatoirement contre le risque d'accidents, a pris en charge le cas.
Consulté une année après l'accident, le docteur C._, spécialiste en médecine interne et médecin traitant, a constaté la persistance de douleurs et a préconisé une évaluation par un spécialiste (rapport du 27 août 2007). Après avoir été examiné par le docteur D._, spécialiste en chirurgie et médecin d'arrondissement de la CNA (rapport du 5 septembre 2007), l'assuré a séjourné à la Clinique romande de réadaptation (CRR) du 29 avril au 28 mai 2008, où les médecins ont diagnostiqué une pseudarthrose. Le 2 septembre 2008, il a subi une cure de pseudarthrose ostéosynthèse de la clavicule, à la suite de laquelle il a ressenti une certaine amélioration lui permettant de reprendre ses activités sportives et son travail à 100 %, en dépit des douleurs. Celles-ci ont malgré tout persisté, ce qui l'a conduit à consulter à nouveau le docteur D._, lequel a notamment constaté que "l'angulation vicieuse de la clavicule" était inchangée, que sa consolidation était partielle et que des signes de pseudarthrose persistaient (rapport du 20 septembre 2010). Face à cette situation complexe et insatisfaisante, deux autres spécialistes ont été consultés: le docteur E._, spécialiste en chirurgie orthopédique, qui a proposé une ostéotomie de correction et éventuellement une greffe si la pseudarthrose était confirmée (rapport du 26 novembre 2010) et le docteur F._, médecin chef du service d'orthopédie et de traumatologie de l'hôpital G._, lequel n'a pas décelé de nouvelle pseudarthrose et a recommandé de surseoir à une nouvelle intervention (rapport du 15 décembre 2010).
A._ a décidé de se faire opérer par le docteur E._. Il a subi une ablation du matériel d'ostéosynthèse et une ostéotomie de correction de la clavicule le 5 septembre 2011. Il a repris son travail à 50 % dès le 5 décembre 2011 et à 100 % à partir du 1er février 2012. Dès le mois de mars 2012, il s'est plaint de douleurs plus importantes que d'habitude. Une radiographie réalisée le 23 mars 2012 n'a révélé aucun changement notable de l'aspect radiologique de la clavicule gauche après ostéosynthèse, comparativement au cliché réalisé en 2011. Par la suite, en sus des examens postopératoires du docteur E._, l'assuré a consulté les docteurs C._ (rapport du 10 avril 2012), H._, spécialiste en ophtalmologie et ophtalmo-chirurgie (rapport du 28 août 2012), I._, spécialiste en médecine interne générale et rhumatologie et médecin à la CRR (rapport du 12 novembre 2012) et la doctoresse J._, spécialiste en médecine générale (rapport du 30 octobre 2012). Le 23 novembre 2012, le docteur K._, spécialiste en chirurgie orthopédique et médecin d'arrondissement de la CNA, l'a examiné en vue d'un bilan final. Il a retenu qu'en l'absence d'éléments objectivables, la symptomatologie douloureuse de l'épaule gauche et les irradiations dans l'épaule controlatérale, le rachis, la région crurale gauche, de même que les limitations passives n'avaient pas d'explications somatiques et ne pouvaient pas être mises en relation avec l'accident de 2006. Concernant les seules suites de l'accident, il a retenu une pleine capacité dans l'activité d'agent de détention et n'a pas retenu d'indemnité pour atteinte à l'intégrité (rapport du 10 décembre 2012). Se fondant sur cette appréciation, la CNA a, par décision du 14 décembre 2012, mis un terme au versement des prestations d'assurance (indemnité journalière et frais de traitement) au 31 décembre 2012.
L'assuré a fait opposition contre cette décision en produisant un rapport du docteur L._, spécialiste en chirurgie orthopédique, du 25 juin 2013. Il a fait parvenir ultérieurement deux autres rapports médicaux, le premier établi par le docteur M._ (rapport du 26 novembre 2013) et le deuxième par le docteur N._ (rapport du 17 février 2015), respectivement spécialiste en chirurgie orthopédique et réadaptation physique et spécialiste en médecine interne. La CNA a soumis le cas au docteur O._, spécialiste en chirurgie de son centre de compétence, lequel a examiné l'assuré le 23 octobre 2015 (rapport du 19 février 2016). Enfin, ce dernier a produit deux nouveaux rapports médicaux du docteur E._, des 10 juin 2016 et 25 janvier 2017. La CNA a rejeté l'opposition par décision du 28 mars 2017.
B.
A._ a déféré la décision sur opposition de la CNA à la Cour des assurances sociales du Tribunal cantonal valaisan. A l'appui de sa réponse, la CNA a fait parvenir un rapport du docteur O._ du 7 juin 2017. L'assuré a répliqué et produit un rapport établi le 8 septembre 2017 par la doctoresse P._, médecin à l'hôpital Q._.
Par jugement du 20 février 2019, la cour cantonale a rejeté le recours.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut principalement à ce que la CNA soit tenue de lui verser des prestations au-delà du 31 décembre 2012, et subsidiairement au renvoi de la cause à l'instance précédente afin qu'elle procède à une expertise sur le plan orthopédique.
L'intimée, la juridiction cantonale et l'Office fédéral de la santé publique (OFSP) ont renoncé à se déterminer sur le recours.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (art. 90 LTF) rendu en matière de droit public (art. 82 ss LTF) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (art. 100 LTF) et la forme (art. 42 LTF) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le point de savoir si l'intimée était fondée à mettre un terme aux prestations d'assurance (indemnité journalière et frais de traitement) au 31 décembre 2012.
Dans une procédure de recours concernant des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente (cf. art. 97 al. 2 et art. 105 al. 3 LTF).
3.
3.1. L'art. 6 al. 1 LAA prévoit que les prestations de l'assurance-accidents obligatoire sont allouées en cas d'accident professionnel, d'accident non professionnel et de maladie professionnelle. Par accident au sens de cette disposition, on entend toute atteinte dommageable, soudaine et involontaire, portée au corps humain par une cause extérieure extraordinaire qui compromet la santé physique, mentale ou psychique, ou qui entraîne la mort (art. 4 LPGA [RS 830.1]). Le droit à des prestations découlant d'un accident assuré suppose notamment qu'il y ait, entre l'événement dommageable de caractère accidentel et l'atteinte à la santé, un lien de causalité naturelle. Cette exigence est remplie lorsqu'il y a lieu d'admettre que, sans cet événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière. Pour admettre l'existence d'un lien de causalité naturelle, il n'est pas nécessaire que l'accident soit la cause unique ou immédiate de l'atteinte à la santé; il faut et il suffit que l'événement dommageable, associé éventuellement à d'autres facteurs, ait provoqué l'atteinte à la santé physique ou psychique de l'assuré, c'est-à-dire qu'il se présente comme la condition sine qua non de celle-ci (<ref-ruling> consid. 1 p. 438; <ref-ruling> consid. 3.1 p. 181 et les références).
3.2. En vertu de l'art. 36 al. 1 LAA, les prestations pour soins, les remboursements de frais ainsi que les indemnités journalières et les allocations pour impotent ne sont pas réduits lorsque l'atteinte à la santé n'est que partiellement imputable à l'accident. Lorsqu'un état maladif préexistant est aggravé ou, de manière générale, apparaît consécutivement à un accident, le devoir de l'assurance-accidents d'allouer des prestations cesse si l'accident ne constitue pas la cause naturelle (et adéquate) du dommage, soit lorsque ce dernier résulte exclusivement de causes étrangères à l'accident. Tel est le cas lorsque l'état de santé de l'intéressé est similaire à celui qui existait immédiatement avant l'accident (statu quo ante) ou à celui qui existerait même sans l'accident par suite d'un développement ordinaire (statu quo sine). A contrario, aussi longtemps que le statu quo sine vel ante n'est pas rétabli, l'assureur-accidents doit prendre à sa charge le traitement de l'état maladif préexistant, dans la mesure où il s'est manifesté à l'occasion de l'accident ou a été aggravé par ce dernier (cf. arrêts 8C_781/2017 du 21 septembre 2018 consid. 5.1, in SVR 2019 UV n° 18 p. 64; 8C_657/2017 du 14 mai 2018 consid. 3.2 et les références, in SVR 2018 UV n° 39 p. 141). En principe, on examinera si l'atteinte à la santé est encore imputable à l'accident ou ne l'est plus (statu quo ante ou statu quo sine) selon le degré de preuve de la vraisemblance prépondérante, usuel en matière de preuve dans le domaine des assurances sociales (ATF <ref-ruling> consid. 3.1 p. 181).
3.3. Selon le principe de la libre appréciation des preuves, le juge apprécie librement les preuves médicales qu'il a recueillies, sans être lié par des règles formelles, en procédant à une appréciation complète et rigoureuse des preuves. En ce qui concerne la valeur probante d'un rapport médical, ce qui est déterminant c'est que les points litigieux aient fait l'objet d'une étude circonstanciée, que le rapport se fonde sur des examens complets, qu'il prenne également en considération les plaintes exprimées par la personne examinée, qu'il ait été établi en pleine connaissance de l'anamnèse, que la description du contexte médical et l'appréciation de la situation médicale soient claires et enfin que les conclusions de l'expert soient dûment motivées. Au demeurant, l'élément déterminant pour la valeur probante n'est ni l'origine du moyen de preuve ni sa désignation comme rapport ou comme expertise, mais bel et bien son contenu (<ref-ruling> consid. 3a p. 352; <ref-ruling> consid. 1c p. 160 et les références). Le juge ne peut écarter un rapport médical au seul motif qu'il est établi par le médecin interne d'un assureur social, respectivement par le médecin traitant (ou l'expert privé) de la personne assurée, sans examiner autrement sa valeur probante. Lorsqu'une décision administrative s'appuie exclusivement sur l'appréciation d'un médecin interne à l'assureur social et que l'avis d'un médecin traitant ou d'un expert privé auquel on peut également attribuer un caractère probant laisse subsister des doutes même faibles quant à la fiabilité et la pertinence de cette appréciation, la cause ne saurait être tranchée en se fondant sur l'un ou sur l'autre de ces avis et il y a lieu de mettre en oeuvre une expertise par un médecin indépendant selon la procédure de l'art. 44 LPGA ou une expertise judiciaire (<ref-ruling> consid. 4.7 p. 471; voir aussi l'arrêt 8C_796/2016 du 14 juin 2017 consid. 3.3).
4.
4.1. La cour cantonale a fait sienne l'appréciation du docteur O._ selon laquelle, d'un point de vue somatique, les troubles de l'assuré persistant au 31 décembre 2012 ne pouvaient être mis en relation de causalité pour le moins probable ni avec l'accident de 2006, ni avec l'intervention chirurgicale pratiquée par le docteur E._, dès lors qu'aucune modification structurelle n'avait pu être mise en évidence en relation avec ces symptômes, en dépit d'examens cliniques extensifs. Les rapports de ce médecin pouvaient se voir accorder une pleine valeur probante, ses conclusions étant par ailleurs corroborées par celles des docteurs F._, C._, I._ et K._ et n'étant pas formellement contredites par les rapports des docteurs L._, N._ et E._. En effet, tandis que l'appréciation du docteur L._ ne laissait aucunement penser qu'il avait admis l'existence d'un lien de causalité entre la fracture de la clavicule ou ses séquelles et les symptômes douloureux diffus décrits par l'assuré, le docteur N._ n'abordait pas spécifiquement la question du lien de causalité. Quant au docteur E._, il ne disait rien sur l'existence d'un lien de causalité naturelle entre les "points déclencheurs" ("Triggerpunkte") à l'origine des douleurs diffuses dont se plaignait l'assuré et l'accident du 20 août 2006. Aussi les premiers juges ont-ils considéré que l'intimée était fondée à mettre un terme aux prestations d'assurance au 31 décembre 2012, sans qu'il fût nécessaire de procéder à une expertise orthopédique comme requis par le recourant.
4.2. Le recourant se plaint d'une violation de l'art. 6 al. 1 LAA et d'une appréciation arbitraire des preuves. Il reproche à la cour cantonale d'avoir suivi l'avis du docteur O._ sans tenir compte des avis opposés et d'avoir ainsi méconnu la jurisprudence du Tribunal fédéral applicable en cas de contradictions entre les rapports des médecins employés de l'assurance et ceux des médecins traitants. Selon lui, les rapports des docteurs L._, N._ et E._ - lus en corrélation les uns avec les autres - seraient bel et bien de nature à faire naître un doute sur les conclusions du docteur O._. Par ailleurs, les conclusions des docteurs F._ et C._ ne permettraient nullement de corroborer l'avis du médecin d'arrondissement de la CNA, ces médecins s'étant prononcés sur une problématique différente.
4.3. Dans son rapport du 19 février 2016, le docteur O._ a indiqué se trouver face à un patient dont la ceinture scapulaire gauche était structurellement dans les limites de la norme, sans lésion dégénérative ou post-traumatique démontrable, en dehors d'une clavicule gauche ostéosynthésée en position anatomique, avec matériel d'ostéosynthèse bien en place et sans signe de complication. L'assuré ne présentait aucune pathologie neuro-vasculaire objectivable au niveau de sa ceinture scapulaire et de son membre supérieur gauche. La trophicité de ses ceintures scapulaires était symétrique, ce qui démontrait que la musculature de la ceinture scapulaire gauche était sollicitée régulièrement. Le docteur O._ est arrivé à la conclusion que les seules séquelles somatiques objectivables en relation de causalité pour le moins probable avec l'accident du 20 août 2006 étaient des dysesthésies à l'effleurement de la cicatrice de la clavicule gauche et des douleurs à la palpation du matériel d'ostéosynthèse de cette clavicule. Il a ajouté que l'examen était tout à fait superposable à celui du 23 novembre 2012 lors duquel le docteur K._ avait considéré que la situation était stabilisée.
4.4. A juste titre, le recourant ne remet pas en cause la valeur probante intrinsèque du rapport du docteur O._. Ce médecin s'est déterminé en connaissance de l'anamnèse, au terme d'une analyse complète des pièces médicales du dossier et d'un examen clinique. Il a par ailleurs confronté ses propres observations aux plaintes de l'assuré et les a comparées à celles de ses confrères. Ses constatations sont claires et convaincantes et rejoignent celles des docteurs C._, K._ et I._, qui n'ont pas non plus trouvé d'explications somatiques aux plaintes de l'assuré, au terme de leurs examens cliniques respectifs, et, partant, n'ont pas pu les mettre en relation avec l'accident de 2006 (cf. rapports du docteur C._ du 14 septembre 2012, du docteur I._ du 12 novembre 2012 et du docteur K._ du 23 novembre 2012). Quoi qu'en dise le recourant, la fiabilité des conclusions du docteur O._ n'est pas remise en question par des avis médicaux postérieurs. Dans son rapport du 25 juin 2013, le docteur L._ s'est principalement référé à la période précédant l'opération du 5 septembre 2011. Il a en effet expliqué que les cinq années nécessaires pour "créer une situation de restitution anatomique satisfaisante de la clavicule" avaient généré des altérations fonctionnelles durables, et que cette situation avait été compliquée par l'apparition d'une capsulite rétractile en phase post-opératoire. Cette constatation ne permet pas de remettre en question l'appréciation du docteur O._ - lequel a indiqué que la légère capsulite rétractile avait bien évolué - concernant l'évolution favorable après l'intervention de septembre 2011. S'agissant de la période litigieuse, le docteur L._ s'est contenté d'affirmer de manière péremptoire que "la symptomatologie douloureuse" et les "limitations fonctionnelles du membre supérieur gauche" étaient reliées de manière directe à l'accident de 2006 et que la situation de l'assuré était "totalement liée aux séquelles de la fracture de la clavicule", ce qui ne suffit pas à démontrer, au degré de la vraisemblance prépondérante applicable en droit des assurances sociales, qu'il existe un lien de causalité entre les troubles décrits dès 2012 et l'accident du 20 août 2006. En tout état de cause, le docteur O._ a expliqué de manière circonstanciée que si une correction chirurgicale satisfaisante pouvait effectivement aussi laisser des séquelles, celles-ci devaient alors être objectivables, comme par exemple par une atrophie musculaire. Or, à l'exception de l'opinion du docteur L._ - réfutée aussi bien par le docteur O._ (cf. rapport du 19 février 2016 p. 17) que par le docteur E._ (cf. rapport du 10 juin 2016) -, les médecins qui ont procédé à un examen clinique des épaules de l'assuré, après l'intervention de septembre 2011, n'ont pas décelé d'atrophie musculaire (cf. rapports du docteur K._ du 10 décembre 2012, du docteur O._ du 19 février 2016 et du docteur E._ du 10 juin 2016). Quant au docteur N._, il ne remet pas en cause les conclusions du docteur O._ dans son rapport du 17 février 2015. Il n'apporte en outre aucun argument objectif pour étayer son affirmation selon laquelle "les séquelles de la fracture initiale semblent toujours présentes et entraînent d'importantes répercussions sur la capacité de travail" ou selon laquelle "des suites de cet accident et de son évolution compliquée et défavorable, il persiste toujours à l'heure actuelle, une incapacité de travail à 50 %". Enfin, si le docteur E._ a certes constaté la présence de "points déclencheurs" ("Triggerpunkte") à l'origine des douleurs décrites par l'assuré, il ne s'est toutefois nullement prononcé sur un éventuel lien de causalité entre ceux-ci et l'accident en cause (rapport du 25 janvier 2017).
4.5. Vu ce qui précède, la juridiction cantonale pouvait - sans qu'il soit nécessaire d'ordonner une expertise médicale complémentaire - inférer de l'avis du docteur O._ que les troubles persistants au-delà du 31 décembre 2012 n'étaient pas en lien de causalité avec l'accident du 20 août 2006.
5.
Le recours se révèle dès lors mal fondé et doit être rejeté. Le recourant, qui succombe, supportera les frais judiciaires (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du Valais, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 29 avril 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Paris