Faits :
A.
A._, né en 1970, travaillait en qualité de monteur d'ascenseurs auprès de B._ AG. Le 4 août 2016, il s'est blessé à la cheville droite en marchant dans la fosse d'un ascenseur, sur son lieu de travail. La Caisse nationale suisse d'assurance en cas d'accidents (ci-après: la CNA), auprès de laquelle il était assuré obligatoirement contre le risque d'accidents, a pris en charge le cas.
En raison de la persistance de douleurs à la cheville et de douleurs au niveau de la région lombaire, A._ a consulté le docteur C._, spécialiste en chirurgie orthopédique et traumatologie, le 6 janvier 2017, lequel a préconisé un séjour à la Clinique romande de réadaptation (CRR), que l'assuré a effectué du 22 février au 22 mars 2017. Par la suite, A._ a consulté le docteur D._, spécialiste en médecine physique et réadaptation à l'hôpital E._ (rapports des 2 mai et 30 juin 2017). Par communication du 22 août 2017, la CNA a indiqué à l'assuré qu'elle refusait de prendre en charge les troubles présentés à la colonne vertébrale lombaire, faute de lien de causalité avec l'événement du 4 août 2016.
Consultés le 21 août 2017, les docteurs F._ et G._ du service de neurologie de l'hôpital E._ ont diagnostiqué un trouble de la marche avec tremblements des membres inférieurs non rythmiques, irréguliers, scandés, d'amplitude et de fréquence différentes lors de la marche ou de la station debout d'origine encore indéterminée "DD fonctionnelle" (rapport du 21 septembre 2017). La CNA a requis l'avis de son médecin d'arrondissement, le docteur H._, spécialiste en chirurgie. Dans son appréciation du 13 novembre 2017, ce médecin a indiqué qu'il n'identifiait aucune séquelle de l'accident du 4 août 2016; le tableau clinique étant dominé par des mouvements anormaux des membres inférieurs qui semblaient d'origine psychogène.
Se fondant sur l'avis de son médecin d'arrondissement, la CNA a rendu une décision le 20 novembre 2017, par laquelle elle a mis fin à ses prestations avec effet au 26 novembre 2017, motif pris que les troubles subsistant à cette date n'étaient plus dus à l'accident.
L'assuré a formé opposition. Il a produit, outre des photographies de son pied droit prises entre le 1er et le 11 décembre 2017, divers rapports médicaux, notamment celui du docteur I._, spécialiste en anesthésiologie, du 11 décembre 2017 et du docteur D._, du 12 décembre 2017, évoquant une algodystrophie (ou syndrome douloureux régional complexe [SDRC] ou encore maladie de Sudeck). Lors d'une deuxième appréciation, le docteur H._ a pour sa part conclu qu'en l'absence de signes cliniques objectivables caractéristiques de la maladie de Sudeck, ce diagnostic ne pouvait pas être retenu au degré de la vraisemblance prépondérante (rapport du 29 décembre 2017). Statuant le 5 janvier 2018, la CNA a rejeté l'opposition.
B.
L'assuré a recouru contre cette décision devant la Cour des assurances sociales du Tribunal cantonal vaudois. Lors d'un échange subséquent d'écritures, il a produit deux nouveaux rapports médicaux établis par le docteur I._ (rapport du 9 février 2018) et par le docteur J._, spécialiste en chirurgie orthopédique (rapport du 15 août 2018). De son côté, la CNA a produit un nouveau rapport du docteur H._, du 31 mai 2018. Statuant le 5 novembre 2018, le Tribunal cantonal a rejeté le recours.
C.
A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation, en concluant à l'octroi de plus amples prestations de l'assurance-accidents. Subsidiairement, il demande le renvoi de la cause à l'autorité précédente pour complément d'instruction. A l'appui de son recours, il a produit un rapport médical du docteur K._, spécialiste en médecine physique et réhabilitation et spécialiste de la colonne vertébrale, du 3 novembre 2018.
L'intimée conclut au rejet du recours. La juridiction cantonale déclare se référer à son jugement et l'Office fédéral de la santé publique ne s'est pas déterminé.
D.
Par ordonnance du 1er avril 2019, le juge instructeur de la Cour de céans a suspendu la procédure jusqu'à droit connu sur une demande de révision du jugement cantonal du 5 novembre 2018, déposée le 21 mars 2019 par le recourant devant l'autorité précédente.
Statuant le 11 octobre 2019, la cour cantonale a rejeté la demande de révision. Par arrêt du 25 février 2020 (cause 8C_784/2019), la Ire Cour de droit social du Tribunal fédéral a rejeté le recours formé par A._ contre le jugement cantonal du 11 octobre 2019. A la suite du prononcé de ce jugement, la Cour de céans a informé les parties que la procédure 8C_863/2018 pouvait être reprise.

Considérant en droit :
1.
Le recours est dirigé contre un arrêt final (<ref-law>) rendu en matière de droit public (<ref-law>) par une autorité cantonale de dernière instance (art. 86 al. 1 let. d LTF). Il a été déposé dans le délai (<ref-law>) prévu par la loi. Il est donc recevable.
2.
Le litige porte sur le droit du recourant à des prestations de l'assurance-accidents au-delà du 26 novembre 2017.
La procédure portant sur l'octroi ou le refus de prestations en espèces de l'assurance-accidents, le Tribunal fédéral n'est pas lié par les faits établis par l'autorité précédente (art. 97 al. 2 et art. 105 al. 3 LTF).
3.
L'<ref-law> prévoit que les prestations de l'assurance-accidents obligatoire sont allouées en cas d'accident professionnel, d'accident non professionnel et de maladie professionnelle. Le droit aux prestations suppose notamment entre l'événement dommageable de caractère accidentel et l'atteinte à la santé un lien de causalité naturelle. Cette condition est réalisée lorsqu'il y a lieu d'admettre que, sans cet événement accidentel, le dommage ne se serait pas produit du tout ou qu'il ne serait pas survenu de la même manière. Il n'est pas nécessaire que l'accident soit la cause unique ou immédiate de l'atteinte à la santé: il suffit qu'associé éventuellement à d'autres facteurs, il ait provoqué l'atteinte à la santé, c'est-à-dire qu'il apparaisse comme la condition sine qua non de cette atteinte. Savoir si l'événement assuré et l'atteinte en question sont liés par un rapport de causalité naturelle est une question de fait que l'administration ou, le cas échéant, le juge, examine en se fondant essentiellement sur des renseignements d'ordre médical, et qui doit être tranchée à la lumière de la règle du degré de vraisemblance prépondérante, appliquée généralement à l'appréciation des preuves dans l'assurance sociale (<ref-ruling> consid. 1 p. 438 et les références).
4.
4.1. La cour cantonale a tout d'abord considéré que l'intimée était fondée à exclure le diagnostic de SDRC en se fondant sur l'avis du docteur H._. Elle a en effet constaté que les avis des autres médecins ne permettaient pas de retenir un tel diagnostic, faute de signes quantitativement suffisants pour satisfaire aux critères diagnostiques reconnus par la doctrine médicale (critères dits de Budapest). Les premiers juges ont ensuite retenu que dans tous les cas, il n'existait pas de lien de causalité entre l'accident du 4 août 2016 et cette pathologie. En effet, après avoir rappelé les trois critères cumulatifs fixés par la jurisprudence pour retenir un lien de causalité, ils ont constaté que celui de la courte période de latence entre l'accident et la survenance du SDRC faisait défaut en l'espèce. Pour le surplus, la juridiction précédente s'est ralliée aux conclusions du docteur H._ constatant que la cheville droite du recourant ne présentait plus de séquelles des suites de l'accident du 4 août 2016.
4.2. Le recourant invoque une constatation incomplète et erronée dans l'établissement des faits consécutive à une mauvaise appréciation des preuves et une violation de son droit d'être entendu. Par un premier grief, il reproche à la juridiction précédente de s'être ralliée à l'appréciation du docteur H._ pour nier l'existence d'un SDRC sans mettre en oeuvre une expertise médicale alors même que l'avis de ce praticien était clairement mis en doute par celui d'autres médecins, en particulier les docteurs D._ et I._ (rapports des 11 et 12 décembre 2017). Ce dernier se serait d'ailleurs fondé sur des constatations objectives à la suite d'examens cliniques, contrairement à ce qu'aurait retenu la juridiction cantonale, laquelle n'aurait pas tenu compte de son rapport du 9 février 2018. En outre, l'avis des docteurs D._ et I._ aurait non seulement été corroboré par les constatations des docteurs J._ et K._, mais également par l'analyse des médecins de la CRR, lesquels auraient constaté un nombre suffisant de symptômes répondant aux critères de Budapest pour admettre l'existence d'un SDRC.
4.3. La violation du droit d'être entendu en lien avec l'administration de preuves, telle qu'invoquée en l'espèce (refus d'ordonner une expertise), est une question qui n'a pas de portée propre par rapport au grief tiré d'une mauvaise appréciation des preuves dans la mesure où assureur et juge peuvent renoncer à effectuer des actes d'instruction sans que cela ne cause une quelconque violation du droit d'être entendu si, en se fondant sur une appréciation consciencieuse des preuves (cf. <ref-ruling> consid. 3a p. 352), ils sont convaincus que des faits présentent un degré de vraisemblance prépondérante et que des mesures probatoires supplémentaires ne pourraient modifier leur appréciation (sur l'appréciation anticipée des preuves, cf. <ref-ruling> consid. 3 p. 157; <ref-ruling> consid. 2 p. 428 s.). Il convient dès lors de l'examiner sous cet angle.
4.4. En l'espèce, le docteur H._ a expliqué de manière convaincante les raisons pour lesquelles le diagnostic de SDRC ne pouvait pas être retenu (rapports des 29 décembre 2017 et 31 mai 2018). Ainsi, il a tout d'abord rappelé que pour remplir les critères dits de Budapest, il fallait non seulement que le patient présente un certain nombre de symptômes dans différentes catégories répertoriées, tels qu'hyperesthésie, changement de couleur de peau, asymétrie de température ou de sudation, oedème, altération trophique, changement de pilosité, mais également que des signes cliniques correspondants soient objectivés. Or, lors de son examen clinique du 13 novembre 2017, ce praticien n'avait relevé aucun signe clinique correspondant à un SDRC. L'aspect de la cheville droite était parfaitement normal, il n'y avait aucun signe réactif manifeste, pas de discoloration, pas de différence de température entre les chevilles, des téguments sans particularités, un pied droit certes transpirant mais pas plus que le gauche, une coque talonnière totalement indolore à la palpation et des amplitudes articulaires complètes et symétriques. De plus, l'assuré était en proie à des mouvements anormaux des membres inférieurs ce qui n'était pas compatible avec une algodystrophie, laquelle engendrait habituellement une sous-utilisation, voire une exclusion fonctionnelle du membre touché. Au surplus, le docteur H._ a indiqué qu'il était improbable que les médecins de la CRR "aient manqué" le diagnostic de SDRC à l'issue du séjour du recourant du 22 février au 22 mars 2017 alors que ces médecins ont une très grande expérience de cette pathologie, à laquelle ils pensent systématiquement en présence de douleurs persistantes difficilement explicables. Enfin, ce praticien a expliqué de manière détaillée les raisons pour lesquelles il se distançait des conclusions des docteurs I._ et D._. Ainsi, le premier avait retenu le diagnostic de SDRC essentiellement sur la base d'éléments anamnestiques. Quant au second, il n'avait relevé qu'un seul signe clinique correspondant aux critères de Budapest, ce qui n'était pas suffisant.
Les arguments du recourant ne permettent pas de remettre en cause cette appréciation. Si certaines constatations médicales auxquelles sont parvenus les médecins de la CRR coïncident certes avec des critères dits de Budapest, ceux-ci n'ont précisément pas retenu le diagnostic de SDRC au terme d'un examen complet (séances de physiothérapie, évaluation des capacités fonctionnelles, examen psychosomatique, stage en ateliers professionnels, évaluation par un spécialiste du rachis, évaluation podologique). En outre, les rapports établis par le docteur I._ ne permettent pas de constater que ce médecin a retenu le diagnostic de SDRC à la suite d'examens cliniques. En effet, dans son rapport du 11 décembre 2017, il fait état de certains symptômes correspondant aux critères de Budapest uniquement dans l'anamnèse, sans mentionner de signes cliniques objectivables. Puis, dans son rapport du 9 février 2018 - dont la cour cantonale a tenu compte (cf. p. 9 du jugement attaqué) - il se limite à indiquer, en réponse à un questionnaire, que le recourant "présentait une hyperalgésie de la région de la cheville et du talon, des anomalies de la coloration de températures cutanées, des anomalies de sudation, [une] faiblesse musculaire et des tremblements". Quant au docteur J._, il relève que le recourant "présente une diminution de la mobilité de la cheville droite avec un status pouvant évoquer un syndrome douloureux régional complexe", sans motiver son appréciation ni mentionner un quelconque examen clinique. S'agissant de l'avis du docteur D._, le recourant ne conteste pas que ce médecin n'ait fait état que d'un seul signe clinique correspondant aux critères de Budapest. Enfin, en tant que le recourant se réfère au rapport du docteur K._ du 3 novembre 2018, qu'il a produit en annexe du recours fédéral, celui-ci n'a pas été versé à la procédure cantonale, il s'agit donc d'une preuve nouvelle qui ne peut être prise en considération par la Cour de céans (<ref-law>).
Il s'ensuit que la cour cantonale était fondée à se baser sur l'avis du médecin d'arrondissement de l'intimée et à nier l'existence d'un SDRC sans qu'il fût nécessaire d'ordonner une expertise médicale.
4.5. Vu ce qui précède, il n'y a pas lieu d'examiner le second grief du recourant en tant qu'il invoque un lien de causalité entre l'accident du 4 août 2016 et le SDRC dont il dit souffrir.
5.
La cour cantonale était dès lors fondée à confirmer la suppression du droit du recourant à des prestations de l'assurance-accidents avec effet au 26 novembre 2017.
6.
Le jugement attaqué n'est pas critiquable et le recours se révèle mal fondé.
7.
Le recourant, qui succombe, supportera les frais judiciaires (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 800 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux parties, au Tribunal cantonal du canton de Vaud, Cour des assurances sociales, et à l'Office fédéral de la santé publique.
Lucerne, le 10 mars 2020
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président : Maillard
La Greffière : Paris