Faits :
A.
Le 24 janvier 2013, la Commission des mesures administratives en matière de circulation routière de l'Etat de Fribourg (ci-après: la CMA) a prononcé le retrait de sécurité du permis de conduire de A._ pour une durée indéterminée, avec un minimum incompressible de 24 mois, dès le 23 novembre 2012, en application de l'art. 16c al. 2 let. d de la loi du 19 décembre 1958 sur la circulation routière (LCR; RS 741.01). Le 24 avril 2014, les experts de l'Unité de médecine et psychologie du trafic du Centre universitaire romand de médecine légale (CURML) ont rédigé un rapport d'expertise dont il ressortait en substance que la restitution du permis de conduire de l'intéressé devait être subordonnée à diverses démarches à effectuer pendant les six mois précédant la fin du délai d'épreuve fixé par la décision de retrait de sécurité du permis du 24 janvier 2013. A._ s'est soumis aux analyses et contrôles à partir de janvier 2015 et le permis de conduire lui a été restitué le 23 juillet 2015.
Le 16 février 2020, à 21h45, le prénommé circulait au volant d'un véhicule sous l'emprise de la drogue (concentration sanguine de THC relevée à 10 μg/l [7.0 - 13 μg/l] selon le rapport d'expertise toxicologique du CURML du 20 mars 2020). Le permis de conduire de l'intéressé a été saisi sur-le-champ.
Par décision du 14 mai 2020, la CMA a ordonné le retrait définitif du permis de conduire de A._ avec un minimum incompressible de cinq ans. Elle a retenu que le précité avait commis une infraction grave aux règles de la circulation routière, au sens de l'art. 16c al. 1 let. c LCR, en conduisant un véhicule alors qu'il était incapable de conduire en raison de l'absorption de stupéfiants. Elle a pris en compte le fait que l'intéressé avait fait l'objet d'un retrait du permis de conduire de durée indéterminée en application de l'art. 16c al. 2 let. d LCR (décision du 24 janvier 2013, mesure révoquée le 23 juillet 2015) dans les cinq ans précédant l'infraction. En outre, elle a indiqué qu'au terme de la durée minimale du retrait, le conducteur devra prouver, par le biais d'une expertise, qu'il est apte à la conduite en application de l'<ref-law>. Enfin, elle a précisé que, compte tenu de l'écoulement du temps depuis la suspension de son droit de conduire, il devra aussi se soumettre à nouveau aux examens de conduite théorique et pratique.
B.
Par arrêt du 31 juillet 2020, la III e Cour administrative du Tribunal cantonal du canton de Fribourg (ci-après: le Tribunal cantonal) a rejeté le recours déposé par A._ contre la décision du 14 mai 2020.
C.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler l'arrêt du 31 juillet 2020 et de renvoyer la cause à la CMA pour qu'elle lui restitue immédiatement le permis de conduire.
Invités à se déterminer, la CMA, le Tribunal cantonal et l'Office fédéral des routes concluent au rejet du recours.
Par ordonnance du 2 octobre 2020, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif, présentée par le recourant.

Considérant en droit :
1.
Le recours en matière de droit public, au sens des <ref-law>, est en principe ouvert contre une décision prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) au sujet d'une mesure administrative de retrait du permis de conduire (<ref-law>), aucune des exceptions mentionnées à l'<ref-law> n'étant réalisée. Déposé en temps utile (art. 45 al. 1, 46 al. 1 let. c et 100 al. 1 LTF) et en la forme prévue (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à l'annulation ou à la modification de celui-ci (<ref-law>), le présent recours est recevable.
2.
Le recourant se plaint tout d'abord d'un établissement arbitraire des faits (<ref-law>).
Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law> (<ref-ruling> consid. 4.4.3 p. 156). La recourante ne peut critiquer les constatations de fait ressortant de la décision attaquée que si celles-ci ont été effectuées en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte, c'est-à-dire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause (<ref-law>; <ref-ruling> consid. 6 p. 358).
En l'espèce, le recourant reproche à l'instance précédente de ne pas avoir tenu compte de la perte de temps liée à l'erreur administrative ayant conduit à ce que le dossier relatif à son retrait de permis du 24 janvier 2013 a été adressé dans un premier temps aux autorités neuchâteloises. Il énumère un certain nombre d'éléments tendant à démontrer que, sans cette erreur d'adressage, il aurait pu récupérer son permis de conduire avant la fin de l'année 2014. Vu le raisonnement qui suit (cf. infra consid. 3), ces éléments ne sont cependant pas susceptibles d'avoir une incidence sur l'issue de la procédure. Le grief de l'établissement arbitraire des faits doit donc être rejeté.
3.
Le recourant ne conteste ni avoir fait l'objet, le 24 janvier 2013, d'un retrait de permis de durée indéterminée fondé sur l'art. 16c al. 2 let. d LCR, ni avoir commis une infraction grave le 16 février 2020. Il reproche en revanche au Tribunal cantonal d'avoir pris comme point de départ du délai de cinq ans prévu à l'art. 16c al. 2 let. e LCR la date de restitution du permis, soit le 23 juillet 2015 et de ne pas avoir tenu compte de la perte de temps liée à l'erreur administrative ayant conduit à ce que son dossier a été adressé dans un premier temps aux autorités neuchâteloises. Il fait grief à l'instance précédente d'avoir appliqué à tort l'art. 16c al. 2 let. e LCR.
3.1. Aux termes de l'art. 16c al. 2 let. e LCR, après une infraction grave, le permis d'élève conducteur ou le permis de conduire est retiré définitivement si, au cours des cinq années précédentes, le permis a été retiré en application de la let. d ou de l'art. 16b al. 2 let. e. Dans une telle situation, le délai d'attente légal minimum pour que l'autorité compétente prenne, sur requête, une nouvelle décision est de cinq ans (<ref-law>).
Selon la jurisprudence, la période probatoire commence à l'expiration du dernier jour de l'exécution du précédent retrait du permis de conduire (<ref-ruling> consid. 5.3 p. 455; arrêts 1C_247/2017 du 12 mai 2017 consid. 2, 1C_731/2013 du 10 décembre 2013 consid. 3.4 et les arrêts cités).
3.2. En l'espèce, le Tribunal cantonal a considéré que, quand bien même une erreur administrative relative au domicile du recourant - dont celui-ci n'était pas responsable - aurait été commise, il y avait lieu de s'en tenir - en ce qui concerne le début du délai de cinq ans - à la date de la révocation de la dernière mesure. Il a motivé son raisonnement en quatre points.
Il a d'abord considéré que vouloir prendre en compte une autre date impliquait de faire des hypothèses quant au déroulement des faits, ce qui induisait une insécurité du droit inacceptable; en effet, une multitude de facteurs était susceptible d'influencer la date de la révocation d'une mesure, comme par exemple les délais d'élaboration des expertises, l'échange des écritures, les délais d'attente pour exécuter les contrôles, l'envoi des résultats de mesures de contrôle, les délais des envois postaux ou le temps de réaction de l'administré ou de l'administration; à l'évidence, il n'était pas concevable de contester la date de restitution d'un permis en argumentant que si telle ou telle opération avait été effectuée plus tôt, la révocation aurait aussi été avancée et qu'ainsi, la nouvelle infraction aurait été commise après l'échéance du délai de cinq ans. L'instance précédente a jugé que l'application du délai d'épreuve ne saurait reposer sur des suppositions relatives à de tels facteurs.
La cour cantonale a ensuite souligné que le retrait prononcé en 2013 était en principe de durée indéterminée, ce qui venait conforter la conséquence que seule la date de la levée de la mesure pouvait être déterminante.
A cela s'ajoutait, pour les juges cantonaux, que le délai d'épreuve avait pour but de constater qu'un conducteur était capable de conduire durant cette période sans commettre de nouvelles infractions, ce qui à l'évidence excluait la prise en compte des périodes durant lesquelles il ne disposait pas de son permis.
Enfin, la cour cantonale a relevé que le recourant - qui s'était soumis aux examens d'expertise fin 2013 et début 2014 - avait tout loisir de s'enquérir de ses résultats auprès des médecins ou de la CMA; en renonçant à le faire tout en sachant que son permis aurait pu lui être restitué fin novembre 2014, pour autant qu'il ait pu apporter la preuve de son aptitude à la conduite, il ne saurait tirer aucun avantage du retard pris dans le suivi des contrôles: cela valait d'autant moins qu'il était - vu ses nombreux antécédents - coutumier des procédures administratives (y compris celles nécessitant des contacts avec des médecins ou encore des experts).
3.3. Le raisonnement étoffé du Tribunal cantonal ne prête pas le flanc à la critique. Le recourant ne développe d'ailleurs aucune argumentation propre à le remettre en cause. Il se contente en effet de relever les éléments au dossier tendant à démontrer que sans l'erreur administrative qu'il dénonce il aurait pu récupérer son permis de conduire avant la fin de l'année 2014. Il se borne à affirmer que, sans cette erreur, il est indéniable, qu'abstinent à l'alcool depuis novembre 2012, il aurait été en mesure de récupérer son permis de conduire à tout le moins huit mois plus tôt, soit avant la fin de l'année 2014. Il en déduit qu'il n'a commis aucune infraction au cours des cinq dernières années précédant l'infraction du 16 février 2020. Il prétend que seul l'<ref-law> peut être appliqué.
Ce faisant, il ne répond pas à l'argumentation de la cour cantonale qui a expliqué clairement pourquoi, même si une erreur d'adressage avait conduit à une perte de temps, le dies a quo du délai prévu à l'art. 16c al. 2 let. e LCR demeurait le jour de la révocation du précédent retrait du permis de conduire. En effet, selon le texte clair de la loi, le facteur décisif est de savoir si "au cours des cinq années précédentes, le permis a été retiré". Le point de référence est donc l'exécution du retrait du permis de conduire. La formulation correspond aussi au sens de la disposition, car c'est le retrait du permis de conduire - et non pas l'infraction - qui doit avoir un effet d'avertissement. Si le retrait du permis de conduire, également appelé dans ce contexte retrait de sécurité, n'a pas un effet suffisant puisque le conducteur commet à nouveau une infraction dans les cinq ans suivant son exécution, cela entraîne automatiquement une aggravation de la sanction conformément à l'<ref-law> (arrêt 1C_106/2011 du 7 juin 2011 consid. 2.3 et les arrêts cités; BERNHARD RÜTSCHE, in: Basler Kommentar, Strassenverkehrsgesetz, 2014, n° 100 ad <ref-law>).
Le Tribunal cantonal n'a donc pas violé l'art. 16a al. 2 let. e LCR en confirmant le retrait du permis de conduire du recourant avec un minimum incompressible de cinq ans. Mal fondé, le grief doit être écarté.
4.
Il s'ensuit que le recours est rejeté.
Le recourant qui succombe supporte les frais de la présente procédure (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 3'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué aux mandataires du recourant, à la Commission des mesures administratives en matière de circulation routière, à la III e Cour administrative du Tribunal cantonal du canton de Fribourg et à l'Office fédéral des routes.
Lausanne, le 18 novembre 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Tornay Schaller