Faits :
A.
A._, né en 1959, travaille en qualité de plâtrier-peintre au service de la société B._ Sàrl. A ce titre, il est assuré obligatoirement contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA). Par déclaration de sinistre LAA du 11 avril 2017, l'employeur a annoncé à la CNA que le 24 mars 2017, A._ était tombé sur le postérieur en manquant la dernière marche d'un escalier. D'après ce document, les premiers soins avaient été donnés par la doctoresse C._, spécialiste en médecine générale et médecin traitant. Une radiographie de la colonne lombaire réalisée le 12 avril 2017 a révélé un status lombo-pelvien sans anomalie hormis une discrète spondylose lombaire basse et n'a mis en évidence aucune lésion traumatique. La chiropraticienne D._ a attesté une incapacité de travail de 50 % dès le 21 avril 2017. Par la suite, elle a fait état d'une lombosciatalgie gauche (rapport du 24 mai 2017). La CNA a pris en charge le cas.
Le 6 juin 2017, A._ a été soumis à une IRM lombaire qui a mis en évidence une volumineuse hernie discale L2-L3 gauche luxée vers le bas comprimant les racines L3 et probablement L4 gauches. Le 16 juin suivant, il a consulté en urgence le docteur E._, spécialiste en chirurgie orthopédique en raison d'un "syndrome lombo-sciatalgique hyperalgique avec un syndrome neurologique au niveau du pied gauche". Ce médecin a diagnostiqué un blocage sacro-iliaque gauche net (rapport du 28 juin 2017). Le 26 juin 2017, le médecin traitant a constaté objectivement des lombosciatalgies gauches et sacralgies et radiologiquement une volumineuse hernie discale L2-L3. La CNA a requis l'avis du docteur F._, spécialiste en médecine interne générale et médecin d'arrondissement de la CNA. Dans son appréciation du 2 août 2017, ce médecin a indiqué qu'à l'heure actuelle l'événement du 24 mars 2017 avait cessé d'exercer une influence sur les symptômes de l'assuré et que la persistance des douleurs étaient à mettre sur le compte d'un état antérieur sous forme d'une hernie discale.
Se fondant sur l'avis du médecin d'arrondissement, la CNA a rendu une décision, le 8 août 2017, par laquelle elle a mis fin aux prestations d'assurance (indemnité journalière et frais de traitement) avec effet au 15 août 2017. Elle a considéré, en particulier, que les troubles subsistant à cette date n'étaient plus dus à l'accident et que le statu quo sine pouvait être considéré comme atteint le 2 août 2017 au plus tard. Saisie d'une opposition de l'assuré, la CNA a requis un nouvel avis médical du docteur F._, lequel a confirmé sa première appréciation (rapport du 17 octobre 2017). De son côté, A._ a produit deux rapports médicaux du docteur G._, spécialiste en chirurgie orthopédique et lombaire, des 7 novembre et 6 décembre 2017. Ce médecin a exprimé l'avis qu'il était hautement probable que la hernie soit d'origine traumatique ("höchstwahrscheinlich traumatisch verursacht") en raison des faibles altérations dégénératives constatées. Par décision du 21 décembre 2017, la CNA a rejeté l'opposition de l'assuré.
B.
Saisie d'un recours formé par A._ contre la décision sur opposition du 21 décembre 2017, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, l'a rejeté par jugement du 27 septembre 2018.
C.
A._ interjette un recours en matière de droit public en concluant à l'annulation du jugement et de la décision sur opposition. Il demande à ce que la CNA soit condamnée à prendre en charge les prestations d'assurance en lien avec la hernie discale. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente afin qu'elle rende une nouvelle décision concernant l'octroi des prestations d'assurance. Plus subsidiairement, il demande le renvoi de la cause à l'instance précédente pour complément d'instruction et nouvelle décision dans le sens des considérants.
L'intimée conclut au rejet du recours, tandis que la juridiction cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) et la forme (<ref-law>) prévus par la loi. Il est donc recevable.
2.
Le litige porte sur le point de savoir si l'intimée était fondée à supprimer le droit du recourant à des prestations d'assurance (traitement médical et indemnité journalière) à partir du 16 août 2017.
Dans une procédure de recours concernant des prestations en espèces et en nature de l'assurance-accidents, le Tribunal fédéral n'est pas lié par l'état de fait constaté par la juridiction précédente (cf. art. 97 al. 2 et art. 105 al. 3 LTF).
3.
3.1. Selon l'<ref-law>, les prestations d'assurance sont allouées en cas d'accident professionnel, d'accident non professionnel et de maladie professionnelle. Le droit à des prestations découlant d'un accident assuré suppose d'abord, entre l'événement dommageable de caractère accidentel et l'atteinte à la santé, un lien de causalité naturelle. Cette exigence est remplie lorsqu'il y a lieu d'admettre que, sans cet événement accidentel, le dommage ne se serait pas produit du tout, ou qu'il ne serait pas survenu de la même manière (<ref-ruling> consid. 3.1 p. 181; 402 consid. 4.3.1 p. 406; <ref-ruling> consid. 1 p. 337; <ref-ruling> consid. 1b p. 289 s. et les références). Le droit à des prestations de l'assurance-accidents suppose en outre l'existence d'un lien de causalité adéquate entre l'accident et l'atteinte à la santé. La causalité est adéquate si, d'après le cours ordinaire des choses et l'expérience de la vie, le fait considéré était propre à entraî-ner un effet du genre de celui qui s'est produit, la survenance de ce résultat paraissant de façon générale favorisée par une telle circonstance (<ref-ruling> consid. 3.2 p. 181; 402 consid. 2.2 p. 405; <ref-ruling> consid. 5a p. 461 s. et les références).
3.2. En vertu de l'<ref-law>, les prestations pour soins, les remboursements de frais ainsi que les indemnités journalières et les allocations pour impotent ne sont pas réduits lorsque l'atteinte à la santé n'est que partiellement imputable à l'accident. Lorsqu'un état maladif préexistant est aggravé ou, de manière générale, apparaît consécutivement à un accident, le devoir de l'assurance-accidents d'allouer des prestations cesse si l'accident ne constitue pas la cause naturelle (et adéquate) du dommage, soit lorsque ce dernier résulte exclusivement de causes étrangères à l'accident. Tel est le cas lorsque l'état de santé de l'intéressé est similaire à celui qui existait immédiatement avant l'accident ( statu quo ante) ou à celui qui existerait même sans l'accident par suite d'un développement ordinaire ( statu quo sine) (cf. RAMA 1994 n° U 206 p. 326, U 180/93, consid. 3b; 1992 n° U 142 p. 75, U 61/91, consid. 4b; arrêts 8C_485/2014 du 24 juin 2015 consid. 3.2; 8C_373/2013 du 11 mars 2014 consid. 3.2; 8C_1003/2010 du 22 novembre 2011 consid. 1.2). A contrario, aussi longtemps que le statu quo sine vel ante n'est pas rétabli, l'assureur-accidents doit prendre à sa charge le traitement de l'état maladif préexistant, dans la mesure où il a été causé ou aggravé par l'accident. Selon la jurisprudence, qui se fonde sur l'expérience médicale, une aggravation post-traumatique (sans lésion structurelle associée) d'un état dégénératif antérieur de la colonne vertébrale auparavant asymptomatique cesse de produire ses effets en règle générale après six à neuf mois, voire au maximum après une année (cf. SVR 2009 UV n° 1 p. 1, 8C_677/2007 du 4 juillet 2008 consid. 2.3; arrêts 8C_625/2017 du 5 avril 2018 consid. 3.2; 8C_649/2016 du 13 juillet 2017 consid. 5.3; 8C_843/2014 du 18 mars 2015 consid. 8.1; 8C_765/2014 du 9 février 2015 consid. 6.1).
3.3. Selon l'expérience médicale, pratiquement toutes les hernies discales s'insèrent dans un contexte d'altération des disques intervertébraux d'origine dégénérative, un événement accidentel n'apparaissant qu'exceptionnellement, et pour autant que certaines conditions particulières soient réalisées, comme la cause proprement dite d'une telle atteinte. Une hernie discale peut être considérée comme étant due principalement à un accident, lorsque celui-ci revêt une importance particulière, qu'il est de nature à entraîner une lésion du disque intervertébral et que les symptômes de la hernie discale (syndrome vertébral ou radiculaire) apparaissent immédiatement, entraînant aussitôt une incapacité de travail. Si la hernie discale est seulement déclenchée, mais pas provoquée par l'accident, l'assurance-accidents prend en charge le syndrome douloureux lié à l'événement accidentel (RAMA 2000 n° U 378 p. 190 consid. 3, n° U 379 p. 192 consid. 2a; arrêts 8C_373/2013 cité consid. 3.3; 8C_1003/2010 cité consid. 1.3).
4.
La cour cantonale a considéré que l'intimée était fondée à mettre un terme aux prestations d'assurance dès le 16 août 2017. Elle a fait sienne l'appréciation du docteur F._ selon laquelle la chute du 24 mars 2017 avait seulement décompensé voire révélé un état maladif préexistant de manière passagère. Elle a ensuite retenu que le statu quo sine pouvait être considéré comme atteint le 15 août 2017; rien n'indiquait que la chute eût causé un préjudice au-delà de cette date. Selon la juridiction précédente, l'avis du docteur G._ - d'après lequel il était hautement probable que la hernie soit d'origine traumatique - reposait sur une simple hypothèse et ne permettait pas de remettre en question les conclusions du docteur F._. Le docteur G._ n'avait en effet pas ou peu motivé son point de vue et ne s'était pas référé aux critères généralement admis par la doctrine médicale pour retenir l'origine traumatique d'une hernie discale. Il n'avait, au demeurant, pas nié l'existence d'un trouble dégénératif et ne discutait pas non plus des autres critères permettant de se convaincre d'une origine traumatique de la hernie discale.
5.
Le recourant invoque une constatation incomplète et erronée des faits (<ref-law>), une appréciation arbitraire des preuves (art. 61 let. c LPGA) et une violation de l'<ref-law>. Il reproche aux premiers juges d'avoir nié l'existence d'un lien de causalité entre la chute du 24 mars 2017 et sa hernie discale. D'après lui, toutes les conditions requises par la jurisprudence pour considérer qu'un événement accidentel est la cause proprement dite d'une hernie discale sont remplies. En se fondant sur l'avis du docteur G._, il soutient que sa chute a forcément revêtu une importance particulière et était de nature à entraîner une lésion du disque intervertébral. De plus, i l affirme que puisqu'il a consulté la doctoresse C._ le 11 avril 2017 "en raison des douleurs à la suite de la chute" et s'est retrouvé en incapacité de travail dès le 21 avril suivant, le critère selon lequel les symptômes de la hernie discale doivent apparaître immédiatement et entraîner aussitôt une incapacité de travail est également rempli. A titre subsidiaire, le recourant fait valoir qu'au vu des avis contradictoires des docteurs G._ et F._, la juridiction cantonale ne pouvait pas statuer en l'état du dossier et aurait dû ordonner la mise en oeuvre d'une expertise par un médecin indépendant.
6.
En l'espèce, le docteur G._ ne nie pas l'existence d'un trouble dégénératif. Il est néanmoins d'avis que la hernie discale du recourant a - de manière hautement probable - une origine traumatique au vu des faibles altérations dégénératives constatées. Toutefois, au regard de la jurisprudence du Tribunal fédéral, il n'est pas suffisant de constater qu'il existe peu de variations dégénératives pour admettre un lien de causalité entre la hernie discale et l'accident du 24 mars 2017 (cf. consid. 3.3 supra). Par ailleurs, d'après le docteur F._, aucun des critères reconnus par la doctrine médicale pour admettre l'origine traumatique d'une atteinte intervertébrale - lesquels rejoignent somme toute les critères jurisprudentiels susmentionnés - ne sont réalisés en l'occurrence. En particulier, dans son rapport du 17 octobre 2017, ce médecin a indiqué que la chute sur les fesses - assez banale - intervenue le 24 mars 2017 ne représentait pas un événement à haute énergie et ne permettait pas d'expliquer la survenance d'une hernie discale. A cet égard, contrairement à ce que soutient le recourant, on ne peut pas déduire des constatations du docteur G._ que la chute en question a revêtu une importance particulière ou qu'elle était de nature à entraîner une lésion du disque intervertébral. De plus, le docteur F._ a souligné que l'assuré avait attendu deux semaines et demie avant de consulter son médecin traitant. La doctoresse C._ (consultée selon le recourant le 11 avril 2017) a en outre précisé dans un rapport ultérieur que ce n'était pas elle mais la chiropraticienne D._ qui avait ordonné un arrêt de travail (rapport du 26 juin 2017). D'après les pièces versées au dossier, cette dernière a attesté une incapacité de travail de 50 % dès le 21 avril 2017, ce qu'a confirmé le recourant. Or, à l'encontre de ce qu'il prétend, on ne peut considérer qu'une incapacité de travail attestée près d'un mois après l'accident est intervenue "aussitôt" après celui-ci. Au surplus, le médecin d'arrondissement de la CNA a constaté que ni le médecin traitant ni la chiropraticienne D._ n'avaient mis en évidence de symptômes caractéristiques neurologiques censés apparaître immédiatement après le traumatisme; seul le docteur E._ avait mentionné un "syndrome neurologique au niveau du pied gauche", mais plus de trois mois après la chute. Enfin, le docteur F._ a écarté l'origine traumatique de la hernie discale dès lors que l'IRM réalisée le 6 juin 2017 avait mis en évidence des troubles dégénératifs au niveau lombaire. Cet examen n'avait par ailleurs révélé aucune lésion structurelle traumatique telle qu'une fracture ou une déchirure ligamentaire. Dans ces conditions, à l'instar des premiers juges, il n'y a pas lieu de s'écarter des conclusions du médecin d'arrondissement de la CNA.
7.
Vu ce qui précèdeet sans qu'il soit nécessaire d'ordonner une expertise, la juridiction cantonale pouvait inférer de l'avis du docteur F._ que la chute du 24 mars 2017 n'avait pas provoqué la hernie discale mais fait que révéler des lésions maladives préexistantes précédemment asymptomatiques et qu'elle avait cessé de déployer ses effets dès le mois d'août 2017.
8.
Le recours se révèle dès lors mal fondé et doit être rejeté. Le recourant, qui succombe, supportera les frais de justice (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, et à l'Office fédéral de la santé publique.
Lucerne, le 1er avril 2019
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Paris