Faits :
A.
A._, né en 1969, travaillait en qualité de peintre en bâtiment au service de l'entreprise B._ SA depuis le 1er septembre 2015. Le 15 octobre suivant, il a été victime d'un accident à son lieu de travail: alors qu'il portait un radiateur, il a trébuché sur des tuyaux en reculant et a fait une chute en arrière. Il a subi une fracture-tassement du plateau supérieur L3 avec inclusion discale, qui a été traitée conservativement. Les examens radiologiques ont également révélé des troubles dégénératifs étagés du rachis. Une incapacité de travail de 100 % a été prescrite depuis le jour de l'accident. La Caisse nationale suisse d'assurance en cas d'accidents (CNA), auprès de laquelle A._ était assuré contre le risque d'accidents, a pris en charge le cas.
Une tentative de reprise de travail à 50 % le 14 février 2016 s'est soldée par un échec en raison d'une recrudescence des douleurs. Consulté par l'assuré, le docteur C._, de l'hôpital D._, a déclaré qu'il était trop tard pour une kyphoplastie - intervention qu'il aurait recommandée immédiatement après l'accident - mais qu'une cémentoplastie était une option envisageable pour solidifier le corps vertébral. A._ a aussi été examiné par le service de chirurgie de la colonne vertébrale de l'hôpital E._, où l'on a constaté que la fracture n'était pas encore guérie et émis des réserves à l'indication d'une cémentoplastie (rapport du 20 avril 2016). Un séjour à la clinique de réadaptation F._ a été organisé du 5 juillet au 4 août 2016 afin d'évaluer la situation. Dans leur rapport de sortie, les médecins de la clinique de réadaptation F._ ont estimé que l'état de l'assuré n'était pas encore stabilisé, tout en observant une évolution favorable; le scanner lombaire réalisé en cours de séjour montrait un status consolidé de la fracture; des limitations fonctionnelles étaient retenues pour le port répété de charges supérieures à 12.5 kg et le maintien prolongé de la position du tronc en porte-à-faux. En septembre 2016, l'assuré a tenté une nouvelle reprise du travail qui a dû être interrompue après quatre semaines. Des infiltrations facettaires ont alors été pratiquées à l'hôpital E._ pour réduire la symptomatologie douloureuse.
Le 13 février 2017, le docteur G._, médecin d'arrondissement de la CNA, a procédé à un examen médical final. Il a considéré que l'état de l'assuré était désormais stabilisé et a retenu une capacité de travail entière dans une activité adaptée permettant d'alterner les positions assise et debout, sans port de charges répété de plus de 10 kg et sans mouvements de rotation, de flexion ou de maintien en porte-à-faux du rachis. Le docteur G._ a fixé le taux d'atteinte à l'intégrité à 10 %.
Du 24 avril au 25 juin 2017, A._ - qui avait déposé une demande de prestations de l'assurance-invalidité (AI) - a bénéficié d'une mesure d'orientation professionnelle. La formation prévue à la suite de cette mesure n'a pas été entreprise en raison des douleurs de l'assuré. Dans un rapport du 9 octobre 2017, la doctoresse H._ a fait état d'une évolution défavorable (importantes douleurs lombaires avec, nouvellement, des sciatalgies variables) ainsi que d'une détresse psychologique, nonobstant les traitements prodigués par le service de médecine psychosomatique de l'hôpital E._. Le 17 avril 2018, A._ a été examiné à l'unité de réadaptation psychosomatique de la clinique I._, où les docteurs J._ et K._ ont posé les diagnostics d'épisode dépressif moyen (F32.11) et de douleurs somatoformes chroniques persistantes (F45.4).
Après avoir requis l'avis de son médecin d'arrondissement sur les nouveaux documents versés au dossier, la CNA a mis fin aux prestations d'assurance avec effet au 31 mai 2018, vu la stabilisation de l'état de santé de l'assuré sur le plan organique, et a nié sa responsabilité pour les troubles psychiques annoncés (décision du 29 juin 2018, confirmée sur opposition le 12 septembre 2018).
B.
Par jugement du 26 mars 2019, la Cour de droit public du Tribunal cantonal neuchâtelois a rejeté le recours formé par l'assuré contre la décision sur opposition de la CNA du 12 septembre 2018.
C.
A._ interjette un recours en matière de droit public contre ce jugement, dont il requiert l'annulation. Il conclut principalement à ce que la CNA soit condamnée à prendre en charge les troubles psychiques consécutifs à son accident, et subsidiairement au renvoi de la cause à l'instance précédente.
Dans sa réponse, la CNA conclut au rejet du recours. L'Office fédéral de la santé publique ne s'est pas déterminé.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Eu égard aux motifs et aux conclusions du recours, le litige porte uniquement sur le point de savoir si la CNA est tenue de prendre en charge les conséquences des troubles psychiques développés par le recourant à la suite de l'accident assuré, plus particulièrement sur la question du lien de causalité adéquate.
La procédure portant sur l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et art. 105 al. 3 LTF).
3.
Le 1er janvier 2017 est entrée en vigueur la modification du 25 septembre 2015 de la LAA. Dans la mesure où l'événement litigieux est sur-venu avant cette date, le droit du recourant aux prestations d'assurance est soumis à l'ancien droit (cf. dispositions transitoires relatives à la modification du 25 septembre 2015).
Le jugement entrepris a correctement exposé les dispositions légales et les principes jurisprudentiels qui fondent le droit aux prestations de l'assurance-accidents, en particulier la jurisprudence applicable aux troubles psychiques additionnels à une atteinte physique (<ref-ruling> consid. 5b/bb p. 103; <ref-ruling> consid. 6c/aa p. 140 et 403 consid. 5c/aa et 5c/bb p. 409). Il suffit par conséquent d'y renvoyer.
4.
Le recourant ne conteste pas la classification de l'événement du 15 octobre 2015 dans la catégorie des accidents de gravité moyenne à la limite des accidents de peu de gravité faite par la cour cantonale. Il soutient en revanche que son cas réunirait un nombre de critères jurisprudentiels suffisant pour que soit admis un lien de causalité adéquate entre ses troubles psychiques et l'accident subi. Il invoque ainsi les critères relatifs à la durée anormalement longue du traitement médical, à l'erreur dans le traitement médical, au degré et à la durée de l'incapacité de travail, à la gravité de la lésion subie et, enfin, aux douleurs physiques persistantes (ces deux dernières critères ayant été retenus par la cour cantonale).
5.
En l'occurrence, il y a lieu de confirmer l'appréciation des premiers juges s'agissant de la qualification de l'événement accidentel. Dans un tel cas de figure, pour que le caractère adéquat de l'atteinte psychique puisse être retenu, il faut un cumul de quatre critères au moins parmi les sept consacrés par la jurisprudence ou que l'un des critères se manifeste avec une intensité particulière (arrêt 8C_775/2017 du 13 juin 2018 consid. 5.3 et la référence).
5.1. En ce qui concerne le traitement médical, on rappellera que l'aspect temporel n'est pas seul décisif; sont également à prendre en considération la nature et l'intensité du traitement, et si l'on peut en attendre une amélioration de l'état de santé de l'assuré (arrêt 8C_533/2017 du 17 avril 2018 consid. 3.3 et les références). La prise de médicaments antalgiques et la prescription de traitements par manipulations même pendant une certaine durée ne suffisent pas à fonder ce critère (arrêt 8C_804/2014 du 16 novembre 2015 consid. 5.2.2). La jurisprudence a notamment nié que ce critère fût rempli dans le cas d'un assuré dont le traitement médical du membre supérieur accidenté avait consisté en plusieurs opérations chirurgicales et duré deux ans (arrêt U 37/06 du 22 février 2007 consid. 7.3). En l'espèce, l'assuré n'a subi aucune intervention chirurgicale et a suivi un traitement conservateur sous la forme de séances de physiothérapie pendant une année. En raison de la persistance d'un syndrome lombaire, dix infiltrations facettaires ont été réalisées entre novembre 2016 et décembre 2017, date à partir de laquelle les médecins de l'hôpital E._ ont estimé qu'il convenait de changer d'approche thérapeutique et ont posé l'indication à un traitement stationnaire avec un programme de réadaptation psychosomatique multimodale (rapport du 13 décembre 2017 des docteurs L._ et M._). Globalement, le traitement médical des seules lésions physiques, qui a duré deux ans, ne peut pas être considéré comme pénible et invasif sur une longue durée (voir a contrario, pour un cas où ce critère a été admis, l'arrêt 8C_818/2015 du 15 novembre 2016 consid. 6.2).
5.2. Par ailleurs, on ne saurait admettre le critère de l'erreur dans le traitement médical entraînant une aggravation notable des séquelles de l'accident. Comme le fait remarquer à juste titre la CNA dans sa réponse au recours, le seul fait que le docteur C._ a déclaré, dans une lettre du 4 avril 2016 adressée au médecin traitant de l'assuré, qu'il était "dommage que la décision d'une intervention chirurgicale [kyphoplastie] n'ait pas été prise rapidement après le traumatisme" ne permet pas encore de conclure que le choix thérapeutique d'un traitement conservateur relèverait d'une erreur médicale. Cela ne ressort en tout cas pas des avis des médecins de l'hôpital E._ (rapport de consultation du 25 avril 2016). S'y référant, un autre médecin, le docteur N._, a exprimé les mêmes réserves à l'égard d'un geste chirurgical, précisant que l'indication à une telle mesure en cas de fracture L3 de type A2 selon Magerl (comme chez l'assuré) devait être posée avec prudence et en considération non seulement des éléments anatomiques, mais également du contexte socioprofessionnel et psychologique (rapport du 24 mai 2016). Au surplus, l'assuré a déclaré qu'il ne voulait pas se faire opérer et il n'est pas non plus établi que l'absence d'une intervention chirurgicale a conduit à une aggravation de son état.
5.3. Quant au critère du degré et de la durée de l'incapacité de travail, il doit se rapporter aux seules lésions physiques et ne se mesure pas uniquement au regard de la profession antérieurement exercée par l'assuré. Ainsi, il n'est pas rempli lorsque l'assuré est apte, même après un certain laps de temps, à exercer à plein temps une activité adaptée aux séquelles accidentelles qu'il présente (p. ex. arrêt 8C_208/2016 du 9 mars 2017 consid. 4.1.2). En l'espèce, l'appréciation du médecin d'arrondissement de la CNA selon laquelle le recourant est objectivement en mesure d'exercer une activité adaptée à ses limitations fonctionnelles depuis l'examen final du 13 février 2017 n'est contredit par aucun autre avis médical. Il correspond par ailleurs au pronostic favorable émis par les médecins de la clinique de réadaptation F._ et de l'hôpital E._ (rapport du 8 septembre 2016) avant l'évolution défavorable de l'état de santé psychique de l'assuré. Ce critère ne peut donc pas être retenu.
5.4. S'agissant du degré de gravité de la lésion subie par le recourant, l'appréciation de la cour cantonale apparaît discutable. Ce n'est en effet que dans certaines circonstances particulières que le Tribunal fédéral a reconnu qu'une atteinte à la colonne vertébrale constitue une lésion grave propre à entraîner des répercussions sur l'état de santé psychique de la personne qui en a été victime (cf. <ref-ruling> consid. 5.5.1 p. 261 et les arrêts cités). Dans un cas, l'atteinte en cause avait nécessité trois opérations chirurgicales; dans l'autre, il s'agissait d'une fracture instable de la colonne vertébrale. Or, selon les constatations médicales au dossier, on ne voit pas que la fracture L3 subie par le recourant ait présenté des particularités telles qu'il se justifierait de la qualifier de lésion grave au sens de la jurisprudence. Quoi qu'il en soit, ce critère ne s'est pas manifesté d'une manière particulièrement marquante.
5.5. Finalement, le critère de la persistance des douleurs physiques a été à juste titre admis par l'instance précédente. Il n'a toutefois pas non plus revêtu une intensité particulière. En effet, des périodes d'amélioration sont documentées dans le dossier et il ne ressort pas des déclarations de l'assuré au docteur G._ qu'il aurait été constamment et de manière significative entravé dans sa vie quotidienne en raison de ses douleurs (voir, pour un cas où ce critère a été admis, l'arrêt 8C_493/2017 du 10 juillet 2018 consid. 5.3).
5.6. Par conséquent, le jugement entrepris n'est pas critiquable dans son résultat et le recours doit être rejeté.
6.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel et à l'Office fédéral de la santé publique.
Lucerne, le 22 janvier 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : von Zwehl