Faits : A. A._, né en 1959, travaille en qualité de plâtrier-peintre au service de la société B._ Sàrl. A ce titre, il est assuré obligatoirement contre le risque d'accident auprès de la Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA). Par déclaration de sinistre LAA du 11 avril 2017, l'employeur a annoncé à la CNA que le 24 mars 2017, A._ était tombé sur le postérieur en manquant la dernière marche d'un escalier. D'après ce document, les premiers soins avaient été donnés par la doctoresse C._, spécialiste en médecine générale et médecin traitant. Une radiographie de la colonne lombaire réalisée le 12 avril 2017 a révélé un status lombo-pelvien sans anomalie hormis une discrète spondylose lombaire basse et n'a mis en évidence aucune lésion traumatique. La chiropraticienne D._ a attesté une incapacité de travail de 50 % dès le 21 avril 2017. Par la suite, elle a fait état d'une lombosciatalgie gauche (rapport du 24 mai 2017). La CNA a pris en charge le cas. Le 6 juin 2017, A._ a été soumis à une IRM lombaire qui a mis en évidence une volumineuse hernie discale L2-L3 gauche luxée vers le bas comprimant les racines L3 et probablement L4 gauches. Le 16 juin suivant, il a consulté en urgence le docteur E._, spécialiste en chirurgie orthopédique en raison d'un "syndrome lombo-sciatalgique hyperalgique avec un syndrome neurologique au niveau du pied gauche". Ce médecin a diagnostiqué un blocage sacro-iliaque gauche net (rapport du 28 juin 2017). Le 26 juin 2017, le médecin traitant a constaté objectivement des lombosciatalgies gauches et sacralgies et radiologiquement une volumineuse hernie discale L2-L3. La CNA a requis l'avis du docteur F._, spécialiste en médecine interne générale et médecin d'arrondissement de la CNA. Dans son appréciation du 2 août 2017, ce médecin a indiqué qu'à l'heure actuelle l'événement du 24 mars 2017 avait cessé d'exercer une influence sur les symptômes de l'assuré et que la persistance des douleurs étaient à mettre sur le compte d'un état antérieur sous forme d'une hernie discale. Se fondant sur l'avis du médecin d'arrondissement, la CNA a rendu une décision, le 8 août 2017, par laquelle elle a mis fin aux prestations d'assurance (indemnité journalière et frais de traitement) avec effet au 15 août 2017. Elle a considéré, en particulier, que les troubles subsistant à cette date n'étaient plus dus à l'accident et que le statu quo sine pouvait être considéré comme atteint le 2 août 2017 au plus tard. Saisie d'une opposition de l'assuré, la CNA a requis un nouvel avis médical du docteur F._, lequel a confirmé sa première appréciation (rapport du 17 octobre 2017). De son côté, A._ a produit deux rapports médicaux du docteur G._, spécialiste en chirurgie orthopédique et lombaire, des 7 novembre et 6 décembre 2017. Ce médecin a exprimé l'avis qu'il était hautement probable que la hernie soit d'origine traumatique ("höchstwahrscheinlich traumatisch verursacht") en raison des faibles altérations dégénératives constatées. Par décision du 21 décembre 2017, la CNA a rejeté l'opposition de l'assuré. B. Saisie d'un recours formé par A._ contre la décision sur opposition du 21 décembre 2017, la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, l'a rejeté par jugement du 27 septembre 2018. C. A._ interjette un recours en matière de droit public en concluant à l'annulation du jugement et de la décision sur opposition. Il demande à ce que la CNA soit condamnée à prendre en charge les prestations d'assurance en lien avec la hernie discale. Subsidiairement, il conclut au renvoi de la cause à l'instance précédente afin qu'elle rende une nouvelle décision concernant l'octroi des prestations d'assurance. Plus subsidiairement, il demande le renvoi de la cause à l'instance précédente pour complément d'instruction et nouvelle décision dans le sens des considérants. L'intimée conclut au rejet du recours, tandis que la juridiction cantonale et l'Office fédéral de la santé publique ont renoncé à se déterminer.