Faits :
A.
Par préavis du 2 octobre 2017, le Service des automobiles et de la navigation du canton de Vaud (SAN) a notifié à A._ l'ouverture d'une procédure administrative en vue du retrait de son permis de conduire, au motif qu'il avait circulé le 17 février 2017 avec un véhicule défectueux. Son permis de conduire lui a été retiré par décision du 7 novembre 2017, pour une durée d'un mois, cette mesure devant s'exécuter au plus tard du 6 mai au 5 juin 2018. Cette décision lui a été communiquée par pli recommandé; n'ayant pas été réclamée à l'échéance du délai de garde, elle est revenue en retour au SAN le 21 novembre 2017. Elle lui a été adressée à nouveau sous pli simple le même jour.
B.
Le 6 mai 2018, A._ a été appréhendé au passage de la frontière de St-Gingolph, sur le territoire suisse, au volant d'un véhicule automobile. Son permis de conduire a été séquestré à cette occasion.
Par ordonnance pénale du 19 juin 2018, le Ministère public du canton du Valais a reconnu A._ coupable de conduite sans autorisation et l'a condamné à une peine pécuniaire de 30 jours-amende; cette condamnation a été confirmée par le Tribunal de Monthey dans son jugement du 17 avril 2019.
Par décision du 25 septembre 2019, le SAN a retiré, pour une durée indéterminée mais d'au minimum cinq ans, le permis de conduire de A._, au motif qu'il avait conduit, le 6 mai 2018, un véhicule automobile en dépit d'une mesure de retrait du permis de conduire, alors qu'il avait déjà trois antécédents d'infractions graves (décisions de retrait des 5 octobre 2007, 26 janvier 2010 et 28 août 2013). Sur réclamation de l'intéressé, cette décision a été confirmée le 11 novembre 2019 par le SAN.
Par arrêt du 17 avril 2020, la Cour de droit administratif et public du Tribunal cantonal vaudois a rejeté le recours formé par A._ à l'encontre de la décision sur réclamation du SAN du 11 novembre 2019 qu'il a également confirmée.
C.
A._ forme un " recours de droit administratif " auprès du Tribunal fédéral contre cet arrêt, concluant, avec suite de frais et dépens, à sa réforme en ce sens qu'aucune décision de retrait de son permis de conduire n'est prononcée. A titre subsidiaire, il demande le renvoi de la cause à l'autorité inférieure pour nouvelle décision. Il sollicite également l'effet suspensif.
Invité à se déterminer, le Tribunal cantonal y a renoncé, se référant aux considérants de la décision entreprise et s'en remettant à justice s'agissant de la demande d'effet suspensif. Le SAN a conclu au rejet de la demande d'effet suspensif et au maintien de la décision cantonale. L'Office fédéral des routes (OFROU) a conclu au rejet du recours, se référant à la décision entreprise.
Par ordonnance du 5 juin 2020, le Président de la I re Cour de droit public a rejeté la demande d'effet suspensif.

Considérant en droit :
1.
Le Tribunal fédéral examine d'office sa compétence (<ref-law>). Il contrôle librement la recevabilité des recours qui lui sont soumis (<ref-ruling> consid. 1 p. 186).
Dirigé contre une décision finale (<ref-law>) prise en dernière instance cantonale (art. 86 al. 1 let. d LTF) au sujet d'une mesure administrative de retrait du permis de conduire (<ref-law>), le recours est en principe recevable comme recours en matière de droit public, aucune des exceptions prévues à l'<ref-law> n'étant réalisée; l'erreur dans l'intitulé de l'acte de recours (qualifié de " recours de droit administratif ") demeure en l'espèce sans conséquence pour le recourant (cf. <ref-ruling> consid. 1.3 p. 296; arrêt 1C_233/2019 du 16 juin 2020 consid. 1).
Le recours a, en outre, été déposé en temps utile (<ref-law>) par le destinataire de la décision attaquée, qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (<ref-law>); le présent recours est dès lors recevable.
2.
Le recourant soutient que la cour cantonale aurait établi les faits de manière arbitraire en ce sens qu'elle aurait omis certains éléments susceptibles d'influer sur le sort de la cause. Il fait en particulier référence à un courrier du 16 mars 2018 qui lui a été adressé par le SAN. En outre, il se prévaut, pour la première fois devant le Tribunal fédéral, de la protection de la bonne foi (art. 9 Cst.), ce qu'il est en principe autorisé à faire (cf. <ref-ruling> consid. 4.4 p. 158 s.). Ces deux griefs se confondant, il y a lieu de les examiner ensemble.
2.1. Le Tribunal fédéral est lié par les constatations de fait de la décision entreprise (<ref-law>), à moins que celles-ci n'aient été établies en violation du droit ou de manière manifestement inexacte au sens des art. 97 al. 1 et 105 al. 2 LTF, soit pour l'essentiel de façon arbitraire au sens de l'art. 9 Cst. Une décision n'est pas arbitraire du seul fait qu'elle apparaît discutable ou même critiquable; il faut qu'elle soit manifestement insoutenable, et cela non seulement dans sa motivation mais aussi dans son résultat (<ref-ruling> consid. 1.1 p. 155 s.). En matière d'appréciation des preuves et d'établissement des faits, il n'y a arbitraire que lorsque l'autorité ne prend pas en compte, sans aucune raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 3.6.2 p. 287). Les faits en question doivent être pertinents, c'est-à-dire susceptibles d'influer sur le sort de la cause (<ref-law>). Il appartient au recourant de le démontrer, le Tribunal fédéral n'entrant en matière sur un tel grief que s'il est invoqué et motivé de manière précise (<ref-law>). Les critiques de nature appellatoire sont irrecevables (<ref-ruling> consid. 1.1 p. 156).
2.2. A teneur de l'art. 5 al. 3 Cst., les organes de l'État et les particuliers doivent agir de manière conforme aux règles de la bonne foi. Cela implique notamment qu'ils s'abstiennent d'adopter un comportement contradictoire ou abusif (<ref-ruling> consid. 5.2 p. 261). De ce principe général découle le droit fondamental du particulier à la protection de sa bonne foi dans ses relations avec l'État, consacré à l'art. 9 in fine Cst. (<ref-ruling> consid. 8.3.1 p. 53 et les références citées). Le principe de la bonne foi protège le justiciable, à certaines conditions, dans la confiance légitime qu'il met dans les assurances reçues des autorités, lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration (<ref-ruling> consid. 6.2 p. 538; <ref-ruling> consid. 6.1 p. 636 s.). Selon la jurisprudence, un renseignement ou une décision erronés de l'administration peuvent obliger celle-ci à consentir à un administré un avantage contraire à la réglementation en vigueur, à condition que l'autorité soit intervenue dans une situation concrète à l'égard de personnes déterminées, qu'elle ait agi ou soit censée avoir agi dans les limites de ses compétences et que l'administré n'ait pas pu se rendre compte immédiatement de l'inexactitude du renseignement obtenu. Il faut encore qu'il se soit fondé sur les assurances ou le comportement dont il se prévaut pour prendre des dispositions auxquelles il ne saurait renoncer sans subir de préjudice et que la réglementation n'ait pas changé depuis le moment où l'assurance a été donnée (<ref-ruling> consid. 6.2 p. 538; <ref-ruling> consid. 6.1 p. 637).
2.3. Le recourant persiste à dire, comme il l'a fait devant les autorités précédentes, qu'il ignorait être sous le coup d'une décision de retrait de son permis de conduire lorsqu'il a été appréhendé le 6 mai 2018. Il déduit en outre du courrier émis le 16 mars 2018 par le SAN, qu'il était autorisé à conduire à la date du 6 mai 2018. Cette correspondance à la teneur suivante:
---..]
Nous nous référons au rapport de police du 13 janvier 2018 vous dénonçant pour consommation de produits stupéfiants, en l'occurrence de la cocaïne.
Cette dénonciation entraîne l'ouverture à votre encontre d'une procédure administrative destinée à déterminer si vous êtes apte, en regard de votre consommation de produits stupéfiants, à conduire en toute sécurité et sans réserve un véhicule automobile [...].
Il en découle une obligation de vous soumettre à des tests médicaux destinés à déterminer votre situation vis-à-vis des produits stupéfiants. Vous devez en conséquence effectuer deux contrôles successifs auprès de l'Unité de médecine et de psychologie du trafic [...].
-..]
Par ailleurs, nous vous restituons votre droit de conduire. Vous êtes autorisé à conduire à réception de la présente. Toutefois, votre permis de conduire établi le 16 mars 2017 ne vous sera pas restitué, puisque celui-ci n'est pas le dernier permis émis.
Nous reprendrons contact avec vous dès que les conclusions des experts de l'Unité de médecine et de psychologie du trafic nous serons connues.
-..] "
Par son argumentation, le recourant ne discute pas la fiction de notification de la décision du 7 novembre 2017 lui retirant son permis de conduire retenue par la cour cantonale. Il n'indique en particulier pas en quoi celle-ci n'aurait pas été appliquée correctement au cas d'espèce, respectivement n'invoque aucun élément propre à la tenir pour irrégulière. Comme évoqué par l'instance précédente, l'intéressé se savait partie à une procédure portant sur le retrait de son permis, à tout le moins depuis le préavis qui lui a été adressé à ce sujet le 2 octobre 2017; il ne le conteste pas. Dans ces circonstances, il lui appartenait de prendre les mesures nécessaires pour avoir connaissance des avis du SAN, nonobstant sa séparation d'avec son épouse et le fait que cette dernière, qui ne l'informait pas des correspondances reçues en son nom, jetait systématiquement son courrier à la poubelle; que le recourant n'ait pas retiré le pli recommandé contenant l'envoi du 7 novembre 2017 à l'échéance du délai de garde lui est imputable à faute. La fiction de notification de la décision du 7 novembre 2017 pouvait ainsi être opposée au recourant (cf. <ref-ruling> consid. 3.1 p. 431 s.; <ref-ruling> consid. 1.1 p. 230 et les références citées).
Quant à la correspondance qui lui a été adressée le 16 mars 2018 par le SAN, elle ne crée aucune apparence de droit comme il le prétend. Elle ne fait que l'informer de l'ouverture d'une procédure administrative à son encontre, à la suite d'une dénonciation par la police le 13 janvier 2018 pour consommation de produits stupéfiants,et qu'il est en droit de conduire à réception du courrier en question. On ne voit pas quelle information inexacte aurait été communiquée par le SAN ni en quoi ce service aurait adopté un comportement contradictoire ou abusif, respectivement suscité une espérance légitime chez le prénommé. Ce courrier ne donne en particulier aucune assurance s'agissant de la procédure de retrait du permis de conduire du recourant en lien avec l'état défectueux du véhicule qu'il a conduit en février 2017. Etant lui-même à l'origine de cette procédure de retrait, dont il a été informé à tout le moins en octobre 2017, il lui appartenait, ainsi qu'on l'a déjà dit, de se montrer particulièrement attentif. Dans ces circonstances, le recourant, qui savait pertinemment qu'une telle procédure était en cours et à qui la fiction de notification de la décision du 7 novembre 2017 pouvait valablement être opposée, ne peut reprocher au SAN de ne pas avoir mentionné ces éléments dans son courrier du 16 mars 2018; il ne saurait a fortiori en déduire qu'il était au bénéfice d'une autorisation de conduire lorsqu'il s'est fait contrôler le 6 mai 2018. Les considérations du recourant en lien avec les événements qui ont eu lieu au mois d'avril 2018 (contrôle de police effectué le 4 avril 2018 après lequel il a pu reprendre la route; ordonnance de classement du 19 avril 2018 de la procédure pénale dirigée contre lui à la suite du contrôle de police du 12 janvier 2018) ne modifient pas ces considérations, puisqu'ils sont antérieurs au 6 mai 2018, date du début d'exécution de la mesure de retrait de son permis de conduire. Il en va de même de ses explications au sujet de sa situation personnelle. Le contenu du courrier du 16 mars 2018 n'étant pas de nature à influer sur le sort de la cause, l'autorité précédente était ainsi fondée à ne pas le mentionner dans sa décision.
2.4. En définitive, la cour cantonale n'a pas violé le droit fédéral en retenant que le recourant avait commis une nouvelle infraction grave en conduisant le 6 mai 2018, alors que son permis de conduire lui avait été retiré (cf. art. 16c al. 1 let. f LCR). Au vu de ses antécédents, que le recourant ne discute d'ailleurs pas, elle a correctement appliqué l'art. 16c al. 2 let. e LCR.
3.
Sur le vu de ce qui précède, le recours est rejeté dans la mesure de sa recevabilité. Conformément à l'<ref-law>, les frais judiciaires sont mis à la charge du recourant qui succombe.

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 3'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service des automobiles et de la navigation du canton de Vaud, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des routes.
Lausanne, le 27 août 2020
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Chaix
La Greffière : Nasel