Faits :
A.
Le 22 août 2017, A._ circulait au volant de sa voiture VW Vento sur la route de Provence en direction de Couvet, lorsque, vers 22h50, au lieu-dit "Vers chez Amiet", après avoir passé un passage canadien (bovi-stop), il a perdu la maîtrise de son véhicule, qui a fait une embardée et a terminé sa course contre un arbre sur le côté gauche de la route. Polytraumatisé, il est sorti du véhicule et a été retrouvé le lendemain vers 16 heures dans une grange à environ 1 km du lieu de l'accident. Il a été héliporté au CHUV, où il a été pris en charge au service de médecine intensive, puis aux soins continus du service de neurochirurgie.
B.
La gendarmerie vaudoise a établi un rapport d'accident le 20 octobre 2017 sur la base de l'enquête qu'elle a menée sur place et de l'audition de A._ du 4 septembre 2017. Elle a retenu que celui-ci avait quitté les lieux de l'accident sans respecter ses devoirs en cas d'accident et qu'une vitesse inadaptée paraissait être à l'origine de l'accident. L'expertise toxicologique réalisée le 24 août 2017 au moyen d'échantillons d'urine et de sang prélevés le 23 août 2017 à 20h30 a notamment révélé que A._ avait consommé du cannabis et de l'alcool avant l'événement (rapport d'analyse du 18 décembre 2017). Celui-ci a par ailleurs été entendu par la procureure d'arrondissement itinérante du Nord vaudois le 24 janvier 2018. Sur la base de ces éléments, le procureur cantonal STRADA du canton de Vaud l'a, d'une part, condamné à une amende pour consommation de cannabis entre le 2 mars 2016 et le 20 août 2017 (ordonnance pénale du 6 mars 2019); d'autre part, il a renoncé à prononcer une peine pour l'accident de la circulation, en application de l'<ref-law>, en raison de l'atteinte subie par l'auteur à la suite de son acte, ordonnant le classement de la procédure pénale pour violation simple des règles de la circulation routière et violation des devoirs en cas d'accident (ordonnance pénale du 1er mars 2019).
C.
Après avoir suspendu la procédure administrative dans l'attente de l'issue pénale, le Service cantonal des automobiles et de la navigation (SCAN) a invité A._ à se déterminer au sujet de l'éventuelle sanction administrative à laquelle il a été exposé en raison de ces faits (courriers des 24 avril 2019 et 24 juin 2019). Dans ses observations du 22 août 2019, A._ a en particulier soutenu que la perte de maîtrise du véhicule était due à un élément totalement imprévisible (excroissance acérée d'une barre du passage canadien ayant entraîné la crevaison de son pneu avant droit) constitutif d'un cas bagatelle et a demandé qu'aucune mesure administrative ne soit prononcée à son encontre.
Par décision du 15 octobre 2019, le SCAN a retiré le permis de conduire à titre définitif avec un délai d'attente de 5 ans au minimum, en application de l'art. 16c al. 1 let. a et d et al. 2 let. e LCR. Cette nouvelle infraction - qualifiée de grave - était intervenue moins de 5 ans après un précédent retrait d'une durée indéterminée prononcée en vertu de l'art. 16c al. 2 let. d LCR (retrait indéterminé, avec un délai d'attente de 24 mois minimum du 27 juin 2011, révoqué le 12 novembre 2013 pour 3 infractions graves en 10 ans), ce qui justifiait le retrait définitif (art. 16c al. 2 let. e LCR).
Par prononcé du 3 juillet 2020, le Département cantonal du développement territorial et de l'environnement (ci-après: le Département) a admis le recours déposé par A._ et réformé le chiffre 1 du dispositif de la décision, en ce sens que la faute était moyennement grave (<ref-law>) et que le permis était retiré à titre définitif avec un délai de 5 ans minimum (art. 16b al. 2 let. f LCR).
D.
Par arrêt du 18 décembre 2020, la Cour de droit public du Tribunal cantonal du canton de Neuchâtel a rejeté le recours formé par A._. En substance, elle a estimé que la perte de maîtrise de la voiture, en raison d'une vitesse inadaptée, avait crée un danger intense pour les autres usagers de la route. Quant à la faute, elle était de moyenne gravité, la faute particulièrement légère défendue par le recourant n'était pas envisageable et supposait un véritable "coup du sort".
E.
A._ forme un recours en matière de droit public par lequel il demande principalement au Tribunal fédéral d'annuler l'arrêt cantonal et de renoncer au prononcé de toute mesure administrative à son encontre. Subsidiairement, il conclut au renvoi de la cause à l'autorité inférieure ou toute autre autorité pour nouvelle décision au sens des considérants.
Le Tribunal cantonal et le SCAN se réfèrent à l'arrêt entrepris et concluent au rejet du recours. L'Office fédéral des routes conclut au rejet du recours.

Considérant en droit :
1.
La voie du recours en matière de droit public, au sens des <ref-law>, est ouverte contre une décision de dernière instance cantonale relative à une mesure administrative de retrait du permis de conduire. Déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) par le destinataire de la décision attaquée qui a un intérêt digne de protection à l'annulation ou à la modification de celle-ci (<ref-law>), le présent recours est recevable.
2.
Le recourant soutient qu'aucune mesure administrative ne doit être prononcée à son encontre. Il affirme que la perte de maîtrise ne serait pas due à une vitesse inadaptée, mais à un défaut du passage canadien; l'accident ne serait donc pas la conséquence d'une faute du conducteur dans la maîtrise de son véhicule. Le recourant soutient que son comportement n'était pas dangereux et ajoute que, dans le cas d'espèce, la réunion d'une mise en danger moyennement grave avec un faute très légère peut être qualifiée d'infraction légère, voire de particulièrement légère. Par ailleurs, selon lui, la coordination entre la procédure pénale et administrative aurait dû conduire l'autorité cantonale à retenir une infraction légère, voire très légère, en considérant l'accident comme un "coup du sort".
2.1.
2.1.1. La loi fédérale sur la circulation routière distingue les infractions légères, moyennement graves et graves. Selon l'<ref-law>, commet une infraction légère la personne qui, en violant les règles de la circulation, met légèrement en danger la sécurité d'autrui alors que seule une faute bénigne peut lui être imputée. Commet en revanche une infraction grave selon l'<ref-law> la personne qui, en violant gravement les règles de la circulation, met sérieusement en danger la sécurité d'autrui ou en prend le risque. Entre ces deux extrêmes, se trouve l'infraction moyennement grave, soit celle que commet la personne qui, en violant les règles de la circulation, crée un danger pour la sécurité d'autrui ou en prend le risque (<ref-law>). Le législateur conçoit cette dernière disposition comme l'élément dit de regroupement: elle n'est ainsi pas applicable aux infractions qui tombent sous le coup des art. 16a al. 1 let. a et 16c al. 1 let. a LCR.
Dès lors, l'infraction est toujours considérée comme moyennement grave lorsque tous les éléments constitutifs qui permettent de la privilégier comme légère ou au contraire de la qualifier de grave ne sont pas réunis. Tel est par exemple le cas lorsque la faute est grave et la mise en danger bénigne ou, inversement, si la faute est légère et la mise en danger grave (<ref-ruling> consid. 3.2). Ainsi, par rapport à une infraction légère, où tant la mise en danger que la faute doivent être légères, on parle d'infraction moyennement grave dès que la mise en danger ou la faute n'est pas légère, alors qu'une infraction grave suppose le cumul d'une faute grave et d'une mise en danger grave (cf. <ref-ruling> consid. 2.2.3; arrêts 1C_144/2018 du 10 décembre 2018 consid. 2.2 et 1C_525/2012 du 24 octobre 2013 consid. 2.1). Il y a création d'un danger sérieux pour la sécurité d'autrui au sens de l'<ref-law> non seulement en cas de mise en danger concrète, mais déjà en cas de mise en danger abstraite accrue; la réalisation d'un tel danger s'examine en fonction des circonstances spécifiques du cas d'espèce (<ref-ruling> consid. 1.3; <ref-ruling> consid. 3.1; arrêt 1C_592/2018 du 27 juin 2019 consid. 3.1).
2.1.2. A teneur de l'<ref-law>, le conducteur devra rester constamment maître de son véhicule de façon à pouvoir se conformer au devoir de la prudence. Cela signifie qu'il doit être à tout moment en mesure de réagir utilement aux circonstances. En présence d'un danger et dans toutes les situations exigeant une décision rapide, il devra réagir avec sang-froid et sans excéder le temps de réaction compatible avec les circonstances. Toutefois est excusable celui qui, surpris par la manoeuvre insolite, inattendue et dangereuse d'un autre usager ou par l'apparition soudaine d'un animal, n'a pas adopté, entre diverses réactions possibles, celle qui apparaît, après coup, objectivement comme étant la plus adéquate (arrêt 1C_361/2014 du 26 janvier 2015 consid. 3.1 et les références citées). Toute réaction non appropriée n'est cependant pas excusable. Selon la jurisprudence, l'exonération d'une faute suppose que la solution adoptée en fait est celle qui, après coup, paraît préférable et approximativement équivalente et que le conducteur n'a pas discerné la différence d'efficacité de l'une ou de l'autre parce que l'immédiateté du danger exigeait de lui une décision instantanée. En revanche, lorsqu'une manoeuvre s'impose à un tel point que, même si une réaction très rapide est nécessaire, elle peut être reconnue comme préférable, le conducteur est en faute s'il ne la choisit pas (<ref-ruling>; cf. également arrêts 1C_577/2018 du 9 avril 2019 consid. 2; 6B_1006/2016 du 24 juillet 2017 consid. 2.1; 1C_361/2014 du 26 janvier 2015 consid. 3.1 et les références citées).
Selon l'<ref-law>, la vitesse doit toujours être adaptée aux circonstances, notamment aux particularités du véhicule et du chargement, ainsi qu'aux conditions de la route, de la circulation et de la visibilité. Cette règle implique notamment qu'on ne peut circuler à la vitesse maximale autorisée que si les conditions de la route, du trafic et de visibilité sont favorables (<ref-ruling> consid. 4b; <ref-ruling> consid. 4a). La violation de l'<ref-law> n'est pas subordonnée à la condition de la perte de maîtrise du véhicule (arrêt 6B_1247/2013 du 13 mars 2014 consid. 3.1 et la réf. cit.). L'examen de l'adaptation de la vitesse aux circonstances, dans leur ensemble, est en principe une question de droit que le Tribunal fédéral peut examiner librement. Mais, comme la réponse dépend pour beaucoup de l'appréciation des circonstances locales par l'autorité cantonale, à laquelle il faut laisser une certaine latitude, le Tribunal fédéral ne s'écarte de cette appréciation que lorsque des raisons impérieuses l'exigent (<ref-ruling> consid. 2; arrêt 6B_23/2016 du 9 décembre 2016 consid. 3.1; 6B_1247/2013 du 13 mars 2014 consid. 3.1).
2.2. En principe, l'autorité administrative statuant sur un retrait du permis de conduire ne peut pas s'écarter des constatations de fait d'un jugement pénal entré en force. La sécurité du droit commande en effet d'éviter que l'indépendance du juge pénal et du juge administratif ne conduise à des jugements opposés, rendus sur la base des mêmes faits. L'autorité administrative ne peut s'écarter du jugement pénal que si elle est en mesure de fonder sa décision sur des constatations de fait inconnues du juge pénal ou qui n'ont pas été prises en considération par celui-ci, s'il existe des preuves nouvelles dont l'appréciation conduit à un autre résultat, si l'appréciation à laquelle s'est livré le juge pénal se heurte clairement aux faits constatés ou si le juge pénal n'a pas élucidé toutes les questions de droit, en particulier celles qui touchent à la violation des règles de la circulation (<ref-ruling> consid. 3.2). Si les faits retenus au pénal lient en principe l'autorité et le juge administratifs, il en va différemment des questions de droit, en particulier de l'appréciation de la faute et de la mise en danger (arrêt 1C_202/2018 du 18 septembre 2018 consid. 2.2).
2.3. Il ressort de l'arrêt entrepris que, après avoir roulé sur un passage canadien, le recourant a perdu la maîtrise de son véhicule qui a fait une embardée de plus de 50 m, avec un dérapage de 35,5 m, un demi-tour puis une sortie sur le côté gauche de la route et une collision contre un arbre 14,5 mètres plus loin. La cour cantonale a retenu, sur la base de l'appréciation des gendarmes, que la vitesse au moment de la perte de maîtrise n'était pas inférieure à la vitesse maximale autorisée de 80 km/h; devant le procureur le 24 janvier 2018, le recourant avait reconnu avoir roulé entre 70 et 80 km/h. La cour cantonale a considéré qu'elle n'avait pas de raison de s'écarter de l'estimation des gendarmes, qui était au demeurant favorable au recourant, compte tenu de la distance des traces du dérapage et des dégâts occasionnés au véhicule lors de l'impact contre l'arbre qui témoignaient que le choc était intervenu à une vitesse importante (cf. photo de la voiture figurant au dossier). Elle a par ailleurs retenu que la chaussée était sèche et les conditions climatiques bonnes, qu'aucune voiture ne roulait en face au moment de l'embardée et que le passage canadien, communément désigné bovi-stop ou clédar, était annoncé par le signal "Cassis" (1.06), conformément à l'art. 6 al. 1 de l'ordonnance sur la signalisation routière (OSR; RS 741.21).
La cour cantonale a ensuite constaté que, dans son ordonnance du 1er mars 2019, le procureur vaudois a retenu que le conducteur avait perdu la maîtrise de son véhicule "de manière indéterminée" et que ce n'était que lors de l'audition du recourant devant la procureure, le 24 janvier 2018, que celui-ci avait évoqué pour la première fois l'hypothèse de la perte de maîtrise du véhicule en raison d'une défectuosité d'une barre métallique du clédar qui aurait entraîné la crevaison des pneus. Le recourant avait produit des photos à l'appui du recours déposé devant le Département qui montraient le défaut de la barre métallique (3ème barre métallique partiellement éclatée avec une excroissance située presque au milieu de sa largeur). La cour cantonale soulignait que par la suite le recourant avait changé sa version des faits en indiquant qu'un seul pneu avait éclaté lors du passage sur le clédar. Pour la cour cantonale, la thèse du recourant ne constituait qu'une possibilité parmi d'autres et il n'était pas possible d'exclure que le (s) pneu (s) ai (en) t été endommagé (s) lors de l'embardée ou au moment du choc. La cour cantonale a considéré que la vitesse retenue ci-dessus était quoi qu'il en soit inadaptée. Outre que la vitesse adaptée aurait certainement permis d'éviter l'embardée, elle aurait également augmenté les chances d'identifier la source de danger supplémentaire (défectuosité de la barre), qui était moins prévisible, mais pas totalement imprévisible comme le fait valoir le recourant. Elle aurait permis ainsi de donner la possibilité au recourant de procéder en cas de besoin à une légère manoeuvre d'évitement, voire encore de ralentir et de poursuivre sa route en toute sécurité. Elle aurait également limité le risque de dégâts sur le pneu avant droit, si l'on retient la version du recourant, selon laquelle ce pneu a éclaté après être passé sur la barre défectueuse. Il s'ensuit que, pour la cour cantonale, la vitesse inadaptée apparaissait au premier plan de l'accident. Elle a considéré que la faute du recourant était de moyenne gravité (<ref-law>), la faute particulièrement légère défendue par le recourant n'était pas envisageable et supposait un véritable "coup du sort". Par ailleurs, la perte de maîtrise du véhicule avait, selon l'instance précédente, créé un danger intense pour les autres usagers de la route. Par conséquent, l'infraction devait être qualifiée de moyennement grave.
2.4. L'appréciation de la gravité de l'infraction par l'autorité cantonale ne viole pas le droit fédéral. Celle-ci pouvait à juste titre considérer que la thèse du recourant (perte de maîtrise du véhicule en raison d'un défaut d'une barre métallique du passage canadien qui aurait entraîné la crevaison des pneus, respectivement du pneu), évoquée pour la première fois devant la procureure le 24 janvier 2018, ne constituait qu'une hypothèse parmi d'autres et que, quoi qu'il en soit, la vitesse du véhicule était inadaptée aux circonstances et apparaissait au premier plan de l'accident. L'instance précédente a constaté, en se fondant notamment sur le rapport de police, que la vitesse du véhicule au moment de la perte de maîtrise était proche de la vitesse maximale autorisée de 80 km/h. Le recourant ne propose aucune démonstration du caractère arbitraire de ce constat, dont il n'y a dès lors pas lieu de s'écarter (cf. <ref-ruling> consid. 2; <ref-ruling> consid. 10.1). Or, compte tenu de la présence du signal "Cassis" annonçant des inégalités de la chaussée pouvant occasionner des secousses dangereuses, en l'occurrence un passage canadien, et de la faible luminosité entraînant une visibilité réduite (22h50 environ le 22 août 2017, pas d'éclairage public), le recourant a manqué de précaution en n'adaptant pas sa vitesse aux particularités de la route et aux circonstances. Certes, selon les constatations cantonales, le recourant n'excédait pas la vitesse maximale autorisée. Toutefois, à l'instar de l'instance précédente, il y a lieu de considérer que la présence d'une source de danger prévisible, de nuit, incitait à la prudence, par une réduction de la vitesse, même en cas de beau temps. En roulant à une vitesse proche de 80km/h, le recourant n'a pas pris conscience du danger ni adapté sa vitesse et sa vigilance aux circonstances. L'instance précédente pouvait ainsi considérer que le recourant avait commis une faute ayant conduit à l'accident, en roulant à une vitesse inadaptée.
Cette faute a été qualifiée de relativement grave par l'instance précédente. En l'occurrence, la faute n'est qu'un des critères permettant de qualifier la gravité de l'infraction (cf. supra consid. 2.1.1). Or, ici, l'importance de la mise en danger permettait déjà à l'autorité administrative de considérer que l'infraction n'était pas légère, et ceci même si l'on devait qualifier la faute de légère ou particulièrement légère, comme le soutient le recourant. En effet, nonobstant l'absence d'autres véhicule tiers au moment de l'accident, la mise en danger occasionnée par la perte de maîtrise de la voiture sur plus de 50 mètres à une vitesse proche de 80 km/h, le demi-tour et la collision violente contre un arbre situé sur le côté gauche de la route, ne peut pas être qualifiée de légère au sens de l'<ref-law>; le recourant ne le prétend d'ailleurs pas puisqu'il affirme, dans son écriture, que la mise en danger doit être qualifiée de moyenne gravité. Cette appréciation donne lieu à l'application de l'<ref-law>, l'infraction devant être qualifiée de moyennement grave (cf. consid. 2.1.1 supra).
Enfin, dans son ordonnance pénale du 1er mars 2019, le ministère public s'est limité à relever que le recourant avait d'une manière indéterminée perdu le contrôle de son véhicule et a ordonné le classement de la procédure pénale en raison du fait que le recourant avait été directement et gravement atteint par les conséquences de son acte au point que le prononcé d'une peine paraissait inappropriée (<ref-law>). Le recourant ne peut ainsi rien déduire de l'ordonnance de classement rendue par le Ministère public et l'instance précédente pouvait procéder à sa propre appréciation des faits et du droit en lien avec la cause de l'accident. Contrairement à ce que soutient le recourant la coordination entre la procédure pénale et administrative ne commandait pas, en l'espèce, de retenir une infraction très légère voir légère en considérant l'accident comme un coup du sort.
Enfin, le rec ourant se prévaut en vain du fait que la procédure pénale avait été ouverte pour une violation de l'<ref-law>, dès lors que cette infraction réprime autant les infractions légères que moyennement graves (arrêt 1C_813/2013 du 9 janvier 2014 consid. 3.4)
2.5. Dans ces circonstances, le Tribunal cantonal n'a pas violé le droit fédéral en retenant que le recourant avait commis une infraction moyennement grave au sens de l'<ref-law>. Pour le surplus, le recourant ne conteste pas que, dans cette hypothèse, son permis de conduire devait lui être retiré à titre définitif avec un délai d'attente de 5 ans au minimum en application de l'art. 16b al. 2 let. f LCR, étant donné que la présente infraction était intervenue moins de 5 ans après un précédent retrait d'une durée indéterminée prononcé en vertu de l'art. 16c al. 2 let. d LCR.
3.
Il s'ensuit que le recours est rejeté.
Le recourant, qui succombe, doit supporter les frais judiciaires (art. 65 et 66 LTF).

Par ces motifs, le Tribunal fédéral prononce :
1.
Le recours est rejeté.
2.
Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3.
Le présent arrêt est communiqué au mandataire du recourant, au Service cantonal des automobiles et de la navigation de la République et canton de Neuchâtel, au Département du développement territorial et de l'environnement de la République et canton de Neuchâtel, à la Cour de droit public du Tribunal cantonal de la République et canton de Neuchâtel, et à l'Office fédéral des routes.
Lausanne, le 4 avril 2022
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Président : Kneubühler
La Greffière : Arn