Faits :
A.
A._, né en 1990, est détenteur du permis de conduire pour les catégories G et M depuis le 22 décembre 2004, pour la catégorie A1 depuis le 17 mars 2008 et pour les catégories B, B1 et F depuis le 3 février 2009. Selon le fichier fédéral des mesures administratives en matière de circulation routière (ADMAS), le prénommé a fait l'objet de trois mesures de retrait du permis de conduire, les deux premières pour infraction moyennement grave et la troisième pour infraction grave: un premier retrait d'un mois prononcé le 8 décembre 2006 (20 décembre 2006 au 19 janvier 2007; conduite d'un cyclomoteur dont la puissance avait été modifiée pour atteindre les 60 km/h au lieu des 30 km/h admis); un retrait de quatre mois prononcé le 16 janvier 2008 (26 mai 2008 au 25 septembre 2008; perte de maîtrise d'un véhicule en raison d'une vitesse inadaptée à la configuration des lieux); enfin, un retrait de sept mois prononcé le 14 mai 2013 (4 novembre 2013 au 3 juin 2014; excès de vitesse de 58 km/h [marge de sécurité déduite] sur une autoroute où la vitesse était limitée à 120 km/h).
Par jugement du 9 novembre 2016, la Juge de police du Tribunal d'arrondissement de la Broye (ci-après: la Juge de police) a reconnu A._ coupable de violation grave des règles de la circulation routière au sens de l'art. 90 al. 2 de la loi fédérale du 19 décembre 1958 sur la circulation routière (LCR; RS 741.01). Selon ce jugement, alors que A._ conduisait un tracteur, auquel étaient attelés deux faucheuses, le 8 septembre 2015 vers 18h15 à Prévondavaux sur la route d'Estavayer-le-Lac, il a entamé le dépassement d'un cycliste dans une courbe à droite, endroit où la visibilité était insuffisante pour effectuer cette manoeuvre; surpris par un véhicule arrivant en sens inverse, le prénommé s'est rabattu précocement sur la droite, serrant ainsi le cycliste contre le mur se trouvant dans cette courbe sur le bord de la chaussée et il a ensuite brusquement freiné. La Juge de police a souligné que l'intéressé avait adopté un comportement dangereux dans le seul but de gagner quelques secondes sur son temps de trajet et qu'il n'avait pas montré, durant la procédure, avoir pris conscience de la dangerosité de sa manoeuvre. A._ a été condamné à une peine pécuniaire de 60 jours-amende dont 30 jours fermes, pour avoir effectué un dépassement malgré une visibilité restreinte, sans égard aux autres usagers de la route et sans observer une distance suffisante envers un cycliste (cf. <ref-law>, en lien avec les art. 34 al. 4 et 35 al. 2 et 3 LCR).
B.
Au vu des faits précités, le Service des automobiles et de la navigation du canton de Vaud (SAN) a considéré, par décision du 28 avril 2017, confirmée sur réclamation le 15 juin 2017, que l'intéressé avait commis une infraction grave (<ref-law>) et a prononcé, au vu de ses antécédents, une mesure de retrait de sécurité du permis de conduire d'une durée indéterminée mais d'au minimum vingt-quatre mois (cf. art. 16c al. 2 let. d LCR). Le retrait portait sur toutes les catégories et catégories spéciales. Dans sa décision sur réclamation, le SAN a précisé que la mesure pouvait être révoquée sur présentation de conclusions favorables d'une expertise réalisée auprès d'un psychologue agréé, et non pas auprès de l'Unité de médecine et de psychologie du trafic (UMPT) comme initialement exigé dans son prononcé du 28 avril 2017.
C.
A._ a formé un recours contre cette décision devant la Cour de droit administratif et public du Tribunal cantonal vaudois, qui l'a rejeté par arrêt du 4 septembre 2017. Celle-ci a considéré que l'argumentation développée par le SAN, dans sa décision sur réclamation, était certes succincte, mais néanmoins suffisante au regard des exigences de motivation déduites du droit d'être entendu garanti par l'art. 29 al. 2 Cst. Le SAN n'avait par ailleurs pas violé le principe de la proportionnalité en étendant la mesure de retrait à tous les permis de conduire de l'intéressé.
D.
A._ forme un recours en matière de droit public contre cet arrêt cantonal, en demandant au Tribunal fédéral d'admettre son recours et de prononcer le retrait de son permis de conduire des catégories spéciales G, F et M pour une durée indéterminée en application de l'art. 16c al. 2 let. d LCR, à l'exclusion des autres permis de catégorie "normale" ou sous-catégorie au sens de l'<ref-law>.
Le Tribunal cantonal se réfère à son arrêt. Le SAN ne s'est pas déterminé et l'Office fédéral des routes conclut au rejet du recours, sans autres observations.

Considérant en droit :
1.
La voie du recours en matière de droit public, au sens des <ref-law>, est ouverte contre une décision de dernière instance cantonale relative à une mesure administrative de retrait du permis de conduire. Déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (<ref-law>), le présent recours est recevable.
Toutefois, dans la mesure où le recourant critique les décisions du SAN, son recours est irrecevable en raison de l'effet dévolutif complet du recours déposé auprès du Tribunal cantonal (cf. <ref-ruling> consid. 1.2 p. 104) et de l'exigence d'épuisement des instances cantonales (cf. art. 86 al. 1 let. d LTF).
2.
Le recourant ne conteste pas devoir faire l'objet d'un retrait de permis d'une durée indéterminée minimum de deux ans, en application de l'art. 16c al. 2 let. d LCR. Toutefois, dans la mesure où la dernière infraction a été commise au volant d'un tracteur (permis G), il reproche aux instances précédentes d'avoir étendu la mesure de retrait non seulement aux catégories spéciales, mais également aux catégories et sous-catégories. Il se prévaut d'une violation de l'<ref-law>, ainsi que de la jurisprudence fédérale (arrêt 6A.4/2004 du 22 mars 2004) qui exigerait une motivation précise pour étendre le retrait du permis de conduire aux catégories "normales". La décision d'étendre le retrait de permis à toutes les catégories ne serait pas suffisamment motivée. Il se réfère sur ce point à un avis de droit rédigé par Cédric Mizel.
2.1. L'<ref-law>, intitulé "Portée du retrait", a la teneur suivante
1 Le retrait du permis d'élève conducteur ou du permis de conduire d'une catégorie ou d'une sous-catégorie entraîne le retrait du permis d'élève conducteur et du permis de conduire de toutes les catégories, de toutes les sous-catégories et de la catégorie spéciale F.
2 Le retrait du permis d'élève conducteur ou du permis de conduire d'une catégorie spéciale entraîne le retrait du permis d'élève conducteur et du permis de conduire de toutes les catégories spéciales.
3 Les al. 1 et 2 ne s'appliquent pas lorsqu'un retrait est prononcé pour des raisons médicales.
4 L'autorité compétente pour prononcer le retrait peut:
a. combiner le retrait du permis d'élève conducteur ou du permis de conduire d'une catégorie ou d'une sous-catégorie avec le retrait du permis de conduire des catégories spéciales G et M;
b. combiner le retrait du permis d'élève conducteur ou du permis de conduire d'une catégorie spéciale avec le retrait du permis d'élève conducteur ou du permis de conduire des catégories et sous-catégories.
5 Afin d'éviter les conséquences d'une rigueur excessive, le retrait du permis de conduire peut être décidé pour une durée différente selon les catégories, sous-catégories ou catégories spéciales sous réserve d'observer la durée minimale fixée par la loi, si, notamment, le titulaire du permis:
a. a commis l'infraction justifiant le retrait avec un véhicule automobile dont il n'a pas besoin pour exercer sa profession, et
b. jouit d'une bonne réputation en tant que conducteur du véhicule de la catégorie, sous-catégorie ou catégorie spéciale pour laquelle il s'agit d'abréger la durée du retrait.
2.2. Le recourant fait grief à l'instance précédente d'avoir considéré que le retrait de sécurité du permis de conduire portait sur toutes les catégories en sa possession, en dérogation de la règle de principe posée à l'<ref-law>. Certes, comme relevé par l'intéressé, cette disposition ne prévoit pas l'extension du retrait du permis de conduire des catégories spéciales (cf. <ref-law>) aux catégories et sous-catégories (cf. art. 3 al. 1 et 2 OAC). Toutefois, la faculté d'étendre le retrait d'un permis de conduire d'une catégorie spéciale également aux catégories et sous-catégories est donnée par l'<ref-law>. Cette extension n'apparaît en l'occurrence pas critiquable. En effet, le retrait du permis de conduire du recourant est fondé sur l'art. 16c al. 2 let. d LCR, lequel constitue un retrait de sécurité dont le but est d'exclure de la circulation routière le conducteur multirécidiviste jugé inapte à la conduite (cf. <ref-ruling> consid. 3.4.2 p. 104). Comme relevé par l'instance précédente, le retrait de sécurité est généralement étendu pour des raisons évidentes de protection de la circulation à toutes les catégories, sous catégories et catégories spéciales de permis mentionnées à l'<ref-law>. La majorité de la doctrine plaide d'ailleurs pour une extension de la mesure de retrait de sécurité du permis à toutes les catégories (cf. BUSSY/RUSCONI/JEANNERET/KUHN/ MIZEL/MÜLLER, Code suisse de la circulation routière commenté, 4e éd. 2015, n. 3.7 ad <ref-law>; CÉDRIC MIZEL, Droit et pratique illustrée du retrait du permis de conduire, 2015, §17 let. g, p. 126 s.; BERNHARD RÜTSCHE/NADJA D'AMICO, in Niggli/Probst/Waldmann [éd.], Basler Kommentar LCR, 2014, n. 11 ad <ref-law>; contra: PHILIPPE WEISSENBERGER, Kommentar Strassenverkehrsgesetz und Ordnungsbussengesetz, 2e éd. 2015, n. 18 ad <ref-law>, lequel considère que le retrait des catégories spéciales [G et M] nécessite une motivation expresse).
Contrairement à ce que soutient le recourant, le principe de la proportionnalité ne commandait pas de renoncer en l'espèce à étendre la mesure de retrait de permis aux catégories "normales", soit celles mentionnées par l'art. 3 al. 1 et 2 OAC. La motivation de l'instance précédente sur ce point apparaît pertinente et circonstanciée (cf. arrêt entrepris consid. 4c; cf. arrêt 6A.4/2004 du 22 mars 2004 consid. 2.3.2). Celle-ci a tout d'abord souligné que la dernière infraction grave, commise au volant d'un tracteur, était due à une mauvaise prise en compte de la configuration de la route par le recourant et révélait une attitude peu respectueuse pour les autres usagers; il y a lieu de reconnaître, avec l'instance précédente, qu'une telle attitude peut se manifester quelque soit le véhicule utilisé. Elle a ensuite tenu compte du fait que les infractions précédentes reprochées au recourant - qualifiées de moyennement grave, respectivement grave - avaient été commises à deux reprises avec une automobile (perte de maîtrise en raison d'une vitesse inadaptée et excès de vitesse de plus de 58 km/h sur une autoroute limité à 120 km/h). Sur la base de ces éléments, elle pouvait, à juste titre, retenir que le recourant n'arrivait pas à se conformer aux règles de la circulation routière, quel que soit le véhicule qu'il conduisait. Il n'apparaît ainsi pas concevable que l'intéressé se voie interdire, pour des motifs de sécurité, la conduite d'un tracteur mais puisse en revanche conduire une voiture dont le danger potentiel pour la sécurité du trafic n'est en tout cas pas moindre (cf. <ref-ruling> consid. 3 p. 59). L'instance précédente n'a donc pas violé le droit en considérant que le retrait de sécurité s'étendait en l'espèce à toutes les catégories de permis.
3.
Il s'ensuit que le recours est rejeté, dans la mesure de sa recevabilité. Le recourant, qui succombe, doit supporter les frais de la présente procédure (art. 65 et 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté dans la mesure où il est recevable.
2.
Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service des automobiles et de la navigation et à la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud, ainsi qu'à l'Office fédéral des routes.
Lausanne, le 13 avril 2018
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Merkli
La Greffière : Arn