Faits : A. A._, né en 1970, travaillait en qualité de monteur d'ascenseurs auprès de B._ AG. Le 4 août 2016, il s'est blessé à la cheville droite en marchant dans la fosse d'un ascenseur, sur son lieu de travail. La Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA), auprès de laquelle il était assuré obligatoirement contre le risque d'accidents, a pris en charge le cas. En raison de la persistance de douleurs à la cheville et de douleurs au niveau de la région lombaire, A._ a consulté le docteur C._, spécialiste en chirurgie orthopédique et traumatologie, le 6 janvier 2017, lequel a préconisé un séjour à la Clinique romande de réadaptation (CRR), que l'assuré a effectué du 22 février au 22 mars 2017. Par la suite, A._ a consulté le docteur D._, spécialiste en médecine physique et réadaptation à l'hôpital E._ (rapports des 2 mai et 30 juin 2017). Par communication du 22 août 2017, la CNA a indiqué à l'assuré qu'elle refusait de prendre en charge les troubles présentés à la colonne vertébrale lombaire, faute de lien de causalité avec l'événement du 4 août 2016. Consultés le 21 août 2017, les docteurs F._ et G._ du service de neurologie de l'hôpital E._ ont diagnostiqué un trouble de la marche avec tremblements des membres inférieurs non rythmiques, irréguliers, scandés, d'amplitude et de fréquence différentes lors de la marche ou de la station debout d'origine encore indéterminée "DD fonctionnelle" (rapport du 21 septembre 2017). La CNA a requis l'avis de son médecin d'arrondissement, le docteur H._, spécialiste en chirurgie. Dans son appréciation du 13 novembre 2017, ce médecin a indiqué qu'il n'identifiait aucune séquelle de l'accident du 4 août 2016; le tableau clinique étant dominé par des mouvements anormaux des membres inférieurs qui semblaient d'origine psychogène. Se fondant sur l'avis de son médecin d'arrondissement, la CNA a rendu une décision le 20 novembre 2017, par laquelle elle a mis fin à ses prestations avec effet au 26 novembre 2017, motif pris que les troubles subsistant à cette date n'étaient plus dus à l'accident. L'assuré a formé opposition. Il a produit, outre des photographies de son pied droit prises entre le 1er et le 11 décembre 2017, divers rapports médicaux, notamment celui du docteur I._, spécialiste en anesthésiologie, du 11 décembre 2017 et du docteur D._, du 12 décembre 2017, évoquant une algodystrophie (ou syndrome douloureux régional complexe [SDRC] ou encore maladie de Sudeck). Lors d'une deuxième appréciation, le docteur H._ a pour sa part conclu qu'en l'absence de signes cliniques objectivables caractéristiques de la maladie de Sudeck, ce diagnostic ne pouvait pas être retenu au degré de la vraisemblance prépondérante (rapport du 29 décembre 2017). Statuant le 5 janvier 2018, la CNA a rejeté l'opposition. B. L'assuré a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal vaudois. Lors d'un échange subséquent d'écritures, il a produit deux nouveaux rapports médicaux établis par le docteur I._ (rapport du 9 février 2018) et par le docteur J._, spécialiste en chirurgie orthopédique (rapport du 15 août 2018). De son côté, la CNA a produit un nouveau rapport du docteur H._, du 31 mai 2018. Statuant le 5 novembre 2018, le Tribunal cantonal a rejeté le recours. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à l'octroi de plus amples prestations de l'assurance-accidents. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente pour complément d'instruction. A l'appui de son recours, il a produit un rapport médical du docteur K._, spécialiste en médecine physique et réhabilitation et spécialiste de la colonne vertébrale, du 3 novembre 2018. L'intimée conclut au rejet du recours. La juridiction cantonale déclare se référer à son jugement et l'Office fédéral de la santé publique ne s'est pas déterminé. D. Par ordonnance du 1er avril 2019, le juge instructeur de la Cour de céans a suspendu la procédure jusqu'à droit connu sur une demande de révision du jugement cantonal du 5 novembre 2018, déposée le 21 mars 2019 par le recourant devant l'autorité précédente. Statuant le 11 octobre 2019, la cour cantonale a rejeté la demande de révision. Par arrêt du 25 février 2020 (cause 8C_784/2019), la Ire Cour de droit social du Tribunal fédéral a rejeté le recours formé par A._ contre le jugement cantonal du 11 octobre 2019. A la suite du prononcé de ce jugement, la Cour de céans a informé les parties que la procédure 8C_863/2018 pouvait être reprise.