Faits:
A.
Le 18 mai 2012, A._ a été interpellé par la gendarmerie vaudoise alors qu'il circulait dans la zone industrielle des Vernes à Roche, sous le coup d'un retrait de permis et sans casque, au guidon d'un pocket-bike non immatriculé. Le pocket-bikeest une moto miniature dont la hauteur ne dépasse pas 60 cm de haut (environ 42 cm à hauteur de selle) pour 1 m de long et qui possède une cylindrée de 39 à 49 cm3.
Par décision du 4 juillet 2012, le Service cantonal des automobiles et de la navigation du canton de Vaud (SAN) a ordonné le retrait du permis de conduire de A._ pour une durée indéterminée avec un délai d'attente d'au moins 24 mois. Cette décision est fondée sur l'art. 16c al. 2 let. d LCR et tient compte des antécédents routiers du prénommé, à savoir deux retraits de permis pour infraction grave: le premier retrait a été ordonné le 22 mai 2008 pour une durée de quatre mois alors que le second a été prononcé le 19 juillet 2011 pour une durée de quatorze mois; l'exécution de cette dernière mesure devait prendre fin le 3 août 2012. L'intéressé possédait encore le permis de conduire les véhicules des catégories G (véhicules automobiles agricoles) et M (cyclomoteurs).
Le 30 août 2012, le SAN a rejeté la réclamation déposée par A._ à l'encontre de la décision du 4 juillet 2012. Par arrêt du 16 avril 2013, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal) a confirmé la décision du SAN. Elle a considéré en substance que le pocket-bike s'apparentait à un motocycle léger au sens de l'art. 14 de l'ordonnance concernant les exigences techniques requises pour les véhicules routiers du 19 juin 1995 (OETV; RS 741.41) et que cet engin devait être considéré comme un véhicule au sens de l'<ref-law>; son conducteur devait par conséquent être titulaire d'un permis de conduire pour la catégorie A1.
B.
Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral d'annuler les décisions des 4 juillet et 30 août 2012 du SAN ainsi que l'arrêt du 16 avril 2013.
Le SAN et le Tribunal cantonal renoncent à se déterminer et se réfèrent aux considérants de l'arrêt attaqué. L'Office fédéral des routes conclut au rejet du recours. Les 2 septembre et 18 octobre 2013, le recourant a fait parvenir au Tribunal fédéral le dispositif puis le jugement du Tribunal de police de l'arrondissement de l'Est vaudois rendu le 13 août 2013. Le recourant a fait parvenir spontanément une lettre au Tribunal fédéral, le 18 novembre 2013.
C.
Par ordonnance du 21 mai 2013, le Président de la Ire Cour de droit public a rejeté la requête d'effet suspensif, présentée par le recourant.

Considérant en droit:
1.
La voie du recours en matière de droit public, au sens des <ref-law>, est ouverte contre une décision de dernière instance cantonale (art. 86 al. 1 let. d LTF) au sujet d'une mesure administrative de retrait du permis de conduire (<ref-law>). Déposé en temps utile (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à l'annulation de celui-ci (<ref-law>), le présent recours est en principe recevable.
2.
Le recourant se plaint d'abord d'une violation de son droit d'être entendu (art. 29 al. 2 Cst.). Il reproche à la cour cantonale d'avoir omis de prendre en considération les déclarations qu'il avait faites auprès de la gendarmerie puis du SAN, dans lesquelles il expliquait qu'il ignorait qu'il fallait un permis de conduire pour un pocket-bike, qu'il n'aurait jamais songé à utiliser un tel engin s'il avait pu supposer qu'un permis de conduire était nécessaire et que sa mère le lui avait acheté comme jouet en 2007, qu'il ne l'avait jamais utilisé sur la voie publique et qu'il s'était fait conduire en voiture sur un emplacement privé et désaffecté le 18 mai 2012.
Tel qu'il est garanti par l'art. 29 al. 2 Cst., le droit d'être entendu comprend notamment le droit pour l'intéressé d'offrir des preuves pertinentes et d'obtenir qu'il soit donné suite à ses offres de preuves pertinentes (<ref-ruling> consid. 5.1 p. 293). Toutefois, le droit d'être entendu ne peut être exercé que sur les éléments qui sont déterminants pour décider de l'issue du litige. Le refus d'instruire ne viole le droit d'être entendu des parties que si l'appréciation anticipée de la pertinence du moyen de preuve offert, à laquelle le juge a ainsi procédé, est entachée d'arbitraire (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 3 p. 157; sur la notion d'arbitraire: <ref-ruling> consid. 4.1.2 p. 62).
En l'espèce, le grief de la violation du droit d'être entendu peut être rejeté, dans la mesure où la cour cantonale a retenu dans son état de fait que "à l'achat de son pocket-bike il a été précisé [à l'intéressé] que cet engin est considéré comme un jouet, qui ne nécessite pas de permis de conduire et qui n'est pas immatriculable". Quant au fait qu'il s'est fait conduire en voiture sur les lieux de l'infraction le 18 mai 2012, il n'est pas susceptible d'avoir une influence sur l'issue du litige, vu le raisonnement qui suit.
Enfin, contrairement à ce que soutient le recourant, le fait que la jurisprudence cantonale avait laissé indécise la question de la qualification de l'infraction de conduite d'un pocket-bike sans permis sur le domaine public, dans un arrêt daté de 2007, n'empêche pas de la trancher maintenant et ne viole pas le droit d'être entendu.
3.
Le recourant avance encore que l'endroit où il circulait avec son pocket-bike n'est nullement un parking accessible au public - comme l'a constaté la cour cantonale -, mais une gravière/carrière abandonnée. Partant, il substitue son propre établissement des faits à celui de l'instance précédente, sans tenter de démontrer en quoi l'appréciation du Tribunal cantonal est arbitraire. Or, le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits qui importent pour le jugement de la cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), en particulier en violation de l'interdiction constitutionnelle de l'arbitraire (<ref-law>; <ref-ruling> consid. 4.1.2 p. 62; Message concernant la révision totale de l'organisation judiciaire fédérale du 28 février 2001, FF 2001 p. 4135), ce qu'il lui appartient de démontrer par une argumentation répondant aux exigences de l'<ref-law>, respectivement de l'<ref-law>.
En l'occurrence, le recours ne comporte aucune démonstration du caractère arbitraire de cet élément de fait de la décision attaquée, de sorte qu'il n'y a pas lieu de prendre en considération d'autres faits que ceux retenus dans ladite décision.
4.
Se plaignant d'une constatation arbitraire des faits, le recourant reproche à l'autorité précédente d'avoir considéré que le pocket-bike devait être assimilé à un motocycle léger. En réalité, l'intéressé critique la pertinence de la motivation du Tribunal cantonal. Il fait valoir que le pocket-bike ne peut pas être qualifié de véhicule automobile dans la mesure où il ne peut pas être immatriculé et où il ne fait pas partie des véhicules énumérés à l'<ref-law> ou encore à l'art. 3 de l'ordonnance réglant l'admission des personnes et des véhicules à la circulation routière (OAC; RS 741.51). Il soulève ainsi une question de fond.
4.1. Est réputé véhicule automobile au sens de la LCR tout véhicule pourvu d'un propre dispositif de propulsion lui permettant de circuler sur terre sans devoir suivre une voie ferrée (<ref-law>).
A teneur de l'<ref-law>, sont considérés comme "motocycles" les véhicules automobiles à deux roues placées l'une derrière l'autre qui ne sont pas des cyclomoteurs selon l'art. 18 let. a et b, avec ou sans side-car. L'<ref-law> définit comme "motocycles légers" les véhicules automobiles à deux roues dont la vitesse maximale ne dépasse pas 45 km/h de par leur construction et dont la cylindrée du moteur à combustion n'est pas supérieure à 50 cm3 ou dont la puissance du moteur, dans le cas d'un autre moteur, n'excède pas 4 kW.
Selon l'<ref-law>, sont réputés "cyclomoteurs" les véhicules monoplaces, à roues placées l'une derrière l'autre, pouvant atteindre une vitesse de 30 km/h de par leur construction, d'une puissance maximale de 1,00 kW et équipés d'un moteur à combustion dont la cylindrée n'est pas supérieure à 50 cm3 (chiffre 1) ou d'un moteur électrique leur permettant d'atteindre 45 km/h au maximum en cas d'assistance au pédalage (chiffre 2).
Conformément à l'<ref-law>, nul ne peut conduire un véhicule automobile sans être titulaire d'un permis de conduire. L'<ref-law> énumère les véhicules automobiles pour lesquels un permis de conduire n'est pas nécessaire, à savoir les personnes conduisant à pied des monoaxes sans remorque (let. a), les conducteurs de voitures à bras équipées d'un moteur (let. b), les conducteurs de voitures automobiles de travail utilisées sur des chantiers délimités où la circulation n'est toutefois pas complètement exclue (let. c), les personnes conduisant un cyclomoteur léger (let. d), les personnes qui ont besoin d'utiliser une chaise d'invalide à propulsion électrique dont la vitesse n'excède pas 10 km/h (let. e).
4.2. En l'espèce, le pocket-bikeest un véhicule automobile au sens de l'<ref-law> puisqu'il est pourvu d'un propre dispositif de propulsion, même s'il est dispensé de permis de circulation et de plaques de contrôle (cf. Bussy/Rusconi, Commentaire Code suisse de la circulation routière, 1996, ad <ref-law> chiffre 1.5). Il s'agit d'un véhicule automobile qui n'est pas admis à la circulation routière.
Cependant, lorsqu'une personne circule au guidon d'un pocket-bike sur la voie publique, il y a lieu de considérer, à l'instar de la cour cantonale, que le pocket-bike s'apparente à un motocycle léger au sens de l'<ref-law> puisqu'il s'agit d'une petite moto de compétition d'une cylindrée de 39 ou 49 cm3 pouvant atteindre les 65 km/h. Le recourant ne conteste d'ailleurs pas que son engin circule jusqu'à 65 km/h, de sorte qu'il ne peut être qualifié de "cyclomoteur" au sens de l'<ref-law>. La formulation générale de l'<ref-law> permet ainsi d'inclure ce type de véhicule dans la catégorie des "motocycles".
Il s'ensuit que le conducteur d'un tel engin doit être titulaire d'un permis de conduire de catégorie A1. Comme la personne qui conduit un véhicule automobile alors que le permis de conduire lui a été retiré commet une infraction grave (art. 16c al. 1 let. f LCR), c'est en conformité avec le droit fédéral que le Tribunal cantonal a, en application de l'art. 16c al. 2 let. d LCR, confirmé le retrait du permis de conduire du prénommé pour une durée indéterminée, mais pour deux ans au minimum, puisque, au cours des dix années précédentes, le permis avait été retiré à deux reprises en raison d'infractions graves.
5.
Le recourant fait valoir une violation du principe de la bonne foi (art. 5 Cst.). Il soutient qu'il était persuadé, vu les conditions de mise sur le marché de tels engins, qu'il n'avait pas besoin d'être titulaire d'un permis de conduire puisque le pocket-bike n'est pas "immatriculable". Il affirme qu'étant sous le coup d'un retrait de permis de conduire pour véhicule léger il n'aurait jamais songé à utiliser un tel engin, s'il avait pu supposer qu'un permis de conduire était nécessaire. Le recourant souligne encore qu'il s'est fait conduire dans un espace privé et désaffecté pour utiliser son pocket-bike.
Aux termes de l'art. 5 al. 3 Cst., les organes de l'État et les particuliers doivent agir de manière conforme aux règles de la bonne foi. De ce principe général découle notamment le droit fondamental du particulier à la protection de sa bonne foi dans ses relations avec l'État, consacré à l'art. 9 in fine Cst. (<ref-ruling> consid. 8.3.1 p. 53 et les arrêts cités). Le principe de la bonne foi protège le citoyen, à certaines conditions, dans la confiance légitime qu'il met dans les assurances reçues des autorités, notamment lorsqu'il a réglé sa conduite d'après des décisions, des déclarations ou un comportement déterminé de l'administration et qu'il a pris sur cette base des dispositions qu'il ne saurait modifier sans subir de préjudice (<ref-ruling> consid. 2.5.1 p. 73).
En l'espèce, le SAN et le Tribunal cantonal n'ont donné aucune assurance qui pourrait être interprétée en ce sens que la conduite d'un pocket-bike ne nécessitait pas de permis de conduire. Dès lors, le recourant ne peut rien tirer à son profit du principe de la protection de la bonne foi.
6.
Enfin, le recourant fait valoir que le jugement pénal, postérieur à l'arrêt attaqué, n'a retenu qu'une violation simple des règles de la circulation.
Le jugement pénal précité constitue un fait nouveau au sens de l'<ref-law> et est irrecevable. Eût-il été recevable, ce grief aurait de toute manière été rejeté pour les motifs qui suivent.
6.1. En matière de répression des infractions relatives à la circulation routière, le droit suisse connaît le système de la double procédure pénale et administrative: le juge pénal se prononce sur les sanctions pénales (amende, peine pécuniaire, travail d'intérêt général ou peine privative de liberté) prévues par les dispositions pénales de la LCR (<ref-law>) et par le Code pénal (art. 34 ss, 106 et 107 CP), tandis que les autorités administratives compétentes décident de mesures administratives (avertissement ou retrait de permis) prévues par les <ref-law> (<ref-ruling> consid. 2.3 p. 366).
Une certaine coordination s'impose entre ces deux procédures. La jurisprudence a ainsi établi que, en principe, l'autorité administrative statuant sur un retrait du permis de conduire ne peut pas s'écarter des constatations de fait d'un jugement pénal entré en force. La sécurité du droit commande en effet d'éviter que l'indépendance du juge pénal et du juge administratif ne conduise à des jugements opposés, rendus sur la base des mêmes faits (<ref-ruling> consid. 2.3.2 p. 368 et les références). L'autorité administrative ne peut s'écarter du jugement pénal que si elle est en mesure de fonder sa décision sur des constatations de fait inconnues du juge pénal ou qui n'ont pas été prises en considération par celui-ci, s'il existe des preuves nouvelles dont l'appréciation conduit à un autre résultat, si l'appréciation à laquelle s'est livré le juge pénal se heurte clairement aux faits constatés, ou si le juge pénal n'a pas élucidé toutes les questions de droit, en particulier celles qui touchent à la violation des règles de la circulation (<ref-ruling> consid. 3.2 p. 101 s.). Si les faits retenus au pénal lient donc en principe l'autorité et le juge administratifs, il en va différemment des questions de droit, en particulier de l'appréciation de la faute et de la mise en danger (arrêt 1C_353/2010 du 12 janvier 2011 consid. 2.1 et les références).
6.2. En l'espèce, le Tribunal cantonal ne s'est pas écarté des faits constatés par le Tribunal de police de l'arrondissement de l'Est vaudois. Celui-ci a en effet retenu que le recourant avait circulé sur le domaine public au guidon d'un pocket-bike, alors que son permis de conduire lui avait été retiré. Le Tribunal cantonal est libre de procéder à sa propre qualification juridique de ces faits, et en particulier de juger de la gravité de la faute. Il appartient exclusivement aux autorités administratives, et non pas aux autorités pénales, de se prononcer sur les mesures prévues par les <ref-law> (cf. consid. 6.1). Le grief soulevé à ce sujet tombe par conséquent à faux.
7.
Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité.
Le recourant, qui succombe, doit supporter les frais judiciaires (art. 65 et 66 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1.
Le recours est rejeté, dans la mesure de sa recevabilité.
2.
Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service des automobiles et de la navigation, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des routes.
Lausanne, le 7 janvier 2014
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président: Fonjallaz
La Greffière: Tornay Schaller