Faits:
A. A._, né le 12 mai 1928, est titulaire d'un permis de conduire les véhicules automobiles depuis le 12 juin 1950. Le fichier des mesures administratives ne fait état d'aucune inscription à son sujet.
Le 11 septembre 2011, circulant au volant de son automobile dans la commune de Prangins, A._ s'est arrêté au signal "stop", à l'intersection de la route de l'Aérodrome et de la route de Gland, où la visibilité sur la droite est réduite par un mur. Après avoir regardé à gauche, puis à droite et n'avoir vu aucun véhicule, il a démarré pour traverser le carrefour. Arrivé au milieu de l'intersection, il a heurté le flanc gauche d'une voiture arrivant à sa droite. Cette dernière est partie en tête à queue et a fini sa course 65 mètres plus loin dans un champ. Les deux véhicules ont subi des dommages importants, mais aucun de leurs occupants n'a été blessé.
Par ordonnance du 7 octobre 2011, le Préfet de Nyon a condamné A._ au paiement d'une amende de 150 francs. Cette décision est entrée en force.
Après avoir pris connaissance du rapport de police établi le 12 septembre 2011 à la suite de l'accident de la circulation, le Service des automobiles et de la navigation du canton de Vaud (ci-après: le SAN) a, par décision du 17 octobre 2011, ordonné la mise en oeuvre d'une course de contrôle au vu des doutes sur l'aptitude de A._ à conduire en toute sécurité. Le 30 novembre 2011, il a rejeté la réclamation formée par l'intéressé contre cette décision.
B. Par arrêt du 26 avril 2012, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud a rejeté le recours formé par l'intéressé contre la décision du SAN.
C. Agissant par la voie du recours en matière de droit public, A._ demande au Tribunal fédéral de réformer, respectivement d'annuler cet arrêt, en ce sens qu'aucune course de contrôle n'est ordonnée à son endroit.
Le Tribunal cantonal se réfère à son arrêt, tandis que le SAN a renoncé à formuler des observations. L'Office fédéral des routes conclut au rejet du recours.
Considérant en droit:
1. L'arrêt attaqué concerne la mise en oeuvre d'une course de contrôle dans le cadre d'une procédure administrative relevant du droit de la circulation routière, soit une cause de droit public au sens de l'art. 82 let. a LTF. Le recours en matière de droit public est donc ouvert (arrêt 1C_47/2007 du 2 mai 2007 consid. 1). Le recourant a un intérêt digne de protection à obtenir l'annulation de l'arrêt du Tribunal cantonal qui confirme en dernière instance cantonale une décision l'astreignant à se soumettre à une course de contrôle afin de vérifier son aptitude à conduire un véhicule automobile. Sa qualité pour recourir au sens de l'art. 89 al. 1 LTF est à l'évidence donnée. Les autres conditions de recevabilité du recours en matière de droit public sont par ailleurs réunies.
2. Le recourant reproche à la juridiction cantonale d'avoir violé le droit fédéral en confirmant l'obligation de se soumettre à une course de contrôle. Il conteste avoir commis une faute d'une certaine importance relative aux règles de la circulation routière. Selon lui, on ne peut lui reprocher qu'une banale inattention, à laquelle, de l'avis même des premiers juges, tout conducteur peut être sujet.
2.1 Aux termes de l'art. 29 al. 1 de l'ordonnance réglant l'admission des personnes et des véhicules à la circulation routière (OAC; RS 741.51), dans sa teneur en vigueur depuis le 1er janvier 2005, l'autorité ordonne une course de contrôle pour déterminer les mesures à prendre si l'aptitude du conducteur à conduire un véhicule automobile soulève des doutes. Si la personne concernée ne réussit pas la course de contrôle, le permis de conduire lui sera retiré; elle peut alors demander un permis d'élève conducteur (art. 29 al. 2 let. a OAC). A côté des contrôles médicaux, des expertises médicales ou psychiatriques et des tests psycho-techniques, la course de contrôle constitue une mesure d'instruction permettant d'établir de prime abord si le conducteur possède les connaissances, les capacités et l'habileté nécessaires à la conduite. Cette mesure d'instruction apparaît ainsi adéquate dans son principe lorsqu'en l'absence d'indice d'un problème médical spécifique, un doute existe néanmoins quant à l'aptitude à conduire. Elle peut en particulier être ordonnée lorsque le comportement sur la route d'une personne d'un certain âge attire l'attention (ATF 127 II 129 consid. 3 p. 130 ss; arrêt 6A.44/2006 du 4 septembre 2006 consid. 2.3.1 reproduit au JdT 2006 I 422). Il en va ainsi lorsque le comportement du conducteur relève d'une faute de circulation d'une certaine importance, qui peut entraîner des conséquences sur le plan pénal, soit en particulier conduire à une condamnation selon l'art. 90 LCR (arrêt 1C_110/2011 du 6 juin 2011 consid. 3.4). Les autorités disposent d'un pouvoir d'appréciation dont le Tribunal fédéral ne s'écarte qu'en cas d'excès ou d'abus de ce pouvoir (ATF 127 II 129 consid. 3a p. 130).
2.2 La juridiction cantonale a tenu les doutes sur l'aptitude du recourant à conduire un véhicule automobile pour établis sur la base des faits retenus dans le rapport de police du 12 septembre 2011. Le recourant avait provoqué un accident à la suite d'une inattention importante: arrêté à un signal "stop", il s'était engagé sur le carrefour sans faire apparemment usage d'un miroir apposé de l'autre côté de la route pour améliorer la visibilité et n'avait pas vu une voiture qui se trouvait presque devant lui au moment où il a démarré. Ce véhicule a effectué un tête à queue avant de terminer sa course 65 mètres plus loin dans un champ, subissant un dommage important.
Compte tenu de ces circonstances, qu'il ne conteste pas en tant que telles, le recourant tente en vain de remettre en cause la gravité de la faute de circulation retenue contre lui. Dès lors qu'il n'a pas usé de toutes les précautions nécessaires au signal "stop" avant de s'engager dans le carrefour et provoqué une mise en danger du trafic, le recourant a commis une faute d'une certaine gravité, qui a mené à une condamnation pénale selon l'art. 90 al. 1 LCR (cf. ordonnance pénale du 7 octobre 2011). Si l'âge du conducteur ne constitue pas un motif qui suffirait à lui seul pour ordonner une course de contrôle (arrêt 1C_110/2011 du 6 juin 2011 consid. 3.3), l'inattention dont a fait preuve le recourant revêtait en l'espèce une gravité telle qu'elle soulevait des doutes au sujet de son aptitude à conduire; le fait que tout conducteur aurait pu faire la même erreur d'inattention, comme il le soutient, n'en réduit pas l'importance. Par ailleurs, au regard de l'absence de précaution suffisante, qui a entraîné une violation simple des règles de la circulation routière au sens de l'art. 90 al. 1 LCR, la situation est ici bien différente de celle dont le Tribunal fédéral a eu à juger dans l'arrêt 1C_110/2011, également cité par le recourant, où lors d'une tentative de parcage, le conducteur avait reculé sans prêter attention à une voiture se trouvant derrière lui, de sorte que le pare-choc de son véhicule avait légèrement touché celui de l'autre voiture. En conséquence, la décision d'imposer au recourant une course de contrôle aux fins de vérifier son aptitude à conduire un véhicule automobile reste dans les limites du pouvoir d'appréciation reconnu aux autorités cantonales et ne viole pas le droit fédéral.
3. Il s'ensuit que le recours doit être rejeté. Le recourant, qui succombe, doit supporter les frais judiciaires (art. 66 al. 1 LTF).
Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Service des automobiles et de la navigation et au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, ainsi qu'à l'Office fédéral des routes.
Lausanne, le 20 février 2013
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Merkli
La Greffière: Moser-Szeless