Faits:
A. A._, né le 7 janvier 1962, est titulaire d'un permis de conduire les véhicules automobiles (catégories A1, B, B1, BE, D1, D1E, F, G et M) depuis le 24 juin 1980.
Le 29 juin 2008, il a été victime d'un accident vasculaire cérébral qui a entraîné une quadranopsie homonyme supérieure droite totale et une quadranopsie homonyme inférieure droite partielle (soit une perte de la vue dans la totalité du quart supérieur droit et une partie du quart inférieur droit du champ visuel de chaque ?il).
Dans le cadre d'une expertise menée en cours de procédure, l'Unité de médecine et de psychologie du trafic du Centre universitaire romand de médecine légale (ci-après: UMPT) a soumis A._ à une série de tests à l'issue desquels celui-ci a été évalué inapte à la conduite de véhicules automobiles pour un motif ophtalmologique, aucune dérogation n'étant possible à son égard. En particulier, au test dit de la "double tâche", consistant à évaluer la gestion de deux tâches simultanées (d'une part éviter des obstacles à l'aide d'un volant et d'autre part détecter des piétons apparaissant dans le champ visuel périphérique puis les signaler en appuyant sur des pédales), il est apparu que la capacité de compensation de l'intéressé, bien que celui-ci ait été constamment en alerte et ait présenté de bonnes stratégies de compensation, n'avait pas été suffisante pour éviter trois omissions de piétons se situant dans l'hémichamp droit. L'UMPT a relevé que le champ visuel de A._ était d'approximativement 90°.
B. Par décision du 30 août 2010, le Service des automobiles et de la navigation (ci-après: le SAN) a ordonné le retrait du permis de conduire de A._ pour une durée indéterminée et subordonné la révocation de cette mesure aux conclusions favorables d'une expertise de l'UMPT. Cette décision a été confirmée le 8 mars 2011 sur réclamation.
Statuant par arrêt du 20 janvier 2012, la Cour de droit administratif et public du Tribunal cantonal du canton de Vaud (ci-après: le Tribunal cantonal ou la cour cantonale) a rejeté le recours formé par A._ contre cette décision. En substance, le Tribunal cantonal a constaté que le champ visuel horizontal de A._ mesuré au point de fixation central est de 90°, ce qui ne satisfait pas aux exigences médicales requises pour la délivrance du permis de conduire. Compte tenu du résultat de l'expertise réalisée par l'UMPT, la cour cantonale a également confirmé le refus d'octroi d'une dérogation.
C. Par acte du 22 février 2012, A._ recourt contre cet arrêt auprès du Tribunal fédéral. Il conclut à la restitution d'un permis de conduire de la catégorie B, subsidiairement à ce qu'il soit autorisé à répéter le test de la double-tâche conditionnant la restitution du permis de conduire.
Le Tribunal cantonal, le SAN et l'Office fédéral des routes concluent au rejet du recours.

Considérant en droit:
1. La voie du recours en matière de droit public, au sens des <ref-law>, est ouverte contre les décisions prises en dernière instance cantonale au sujet de mesures administratives de retrait du permis de conduire dans la mesure où aucun motif d'exclusion au sens de l'<ref-law> n'entre en considération. Déposé en temps utile (<ref-law>) et en la forme prévue (<ref-law>) par le destinataire de l'arrêt attaqué qui a un intérêt digne de protection à l'annulation ou à la modification de celui-ci (<ref-law>), le présent recours est recevable.
2. Le recourant se plaint d'une violation de son droit d'être entendu. D'après lui, l'arrêt attaqué omet de retenir l'affirmation des experts de l'UMPT selon laquelle leur travail "ne consiste aucunement en la mesure du champ visuel dans différentes positions". Cela signifierait, à suivre le recourant, que son champ visuel n'a jamais été établi, faute d'investigation spécifique.
2.1 Le droit d'être entendu est une garantie constitutionnelle de caractère formel, dont la violation doit entraîner l'annulation de la décision attaquée, indépendamment des chances de succès du recours sur le fond (<ref-ruling> consid. 2.2 p. 190; <ref-ruling> consid. 4a p. 469). Tel qu'il est garanti par l'art. 29 al. 2 Cst., il comprend en particulier le droit pour le justiciable de s'expliquer avant qu'une décision ne soit prise à son détriment, celui de fournir des preuves quant aux faits de nature à influer sur le sort de la décision, celui d'avoir accès au dossier, celui de participer à l'administration des preuves, d'en prendre connaissance et de se déterminer à leur propos (<ref-ruling> consid. 2.3 p. 282; <ref-ruling> consid. 3.1 p. 370 et les références). Cette garantie constitutionnelle n'empêche pas l'autorité de mettre un terme à l'instruction lorsque les preuves administrées lui ont permis de former sa conviction et que, procédant d'une manière non arbitraire à une appréciation anticipée des preuves qui lui sont encore proposées, elle a la certitude qu'elles ne pourraient l'amener à modifier son opinion (<ref-ruling> consid. 2.1 p. 429; <ref-ruling> consid. 5b/bb pp. 505 s.; cf. également <ref-ruling> consid. 2.2 p. 210). S'agissant plus particulièrement de la décision de retrait de sécurité du permis de conduire, elle constitue une atteinte grave à la sphère privée de l'intéressé; elle doit donc reposer sur une instruction précise des circonstances déterminantes (<ref-ruling> consid. 3.1 p. 388; cf. également <ref-ruling> consid. 2.2 p. 84; <ref-ruling> consid. 3b p. 125).
2.2 Le Tribunal cantonal a retenu que le diagnostic de quadranopsie homonyme supérieure droite totale et de quadranopsie homonyme inférieure droite partielle n'était pas contesté. Il a tenu pour établi, à la lecture des graphiques des tests de champ visuel Octopus et Goldman figurant au dossier, que le champ visuel total du recourant est de 90° sur le méridien passant par le point de fixation central. Se référant aux explications du Dr X._, la cour cantonale a considéré qu'il était constant que le champ visuel horizontal se mesure sur le méridien passant par le point de fixation central.
La cour cantonale s'est également penchée sur l'argumentation du recourant qui met en avant son champ visuel horizontal situé 18° en dessous du point de fixation central qui atteint, selon l'intensité du spot lumineux utilisé, 145° ou 173°. Ce fait a été retenu, mais jugé non décisif, la cour cantonale considérant, comme on le verra ci-dessous, que c'est au méridien passant par le point de fixation central - et non en dessus, en dessous ou selon un angle différent (arrêt attaqué, consid. 2b) - que la conditions légale doit être remplie.
2.3 Les avis médicaux figurant au dossier ne discutent effectivement pas la mesure du champ visuel de A._. Mais cela ne signifie pas que les médecins ne s'en sont pas préoccupés. Les courriers des Drs X._ et Y._, respectivement du 23 juin 2009 et du 9 juillet 2009, font expressément référence aux graphiques des tests Octopuss et Goldman. Se fondant sur ces périmétries, les médecins précités ont considéré de façon implicite, mais univoque, que le champ visuel de A._ ne satisfait pas aux critères légaux puisqu'ils proposent une application du régime dérogatoire.
Dans leur rapport du 20 novembre 2009, les médecins de l'UMPT indiquent, sous la rubrique "neurologique": "champ visuel diminué (approximativement 90°)". Ces experts précisent, dans leur rapport complémentaire du 24 novembre 2010, que la mesure d'un champ visuel se fait dans des conditions standardisées, ce même champ visuel servant de base aux critères légaux. Comme les médecins-traitant du recourant et le médecin conseil du SAN, ils se sont référés aux périmétries figurant au dossier. Lorsqu'ils expliquent que leur travail ne consiste pas en la mesure du champ visuel dans différentes positions, il faut comprendre que les mesures par périmétries Octopuss et Goldman dont ils disposaient étaient suffisantes pour qu'ils puissent mener leur expertise. Il n'y a donc pas d'incertitude sur la valeur du champ de vision du recourant, pas plus qu'il n'y a de doute sur le fait que c'est le champ de vision horizontal passant par le point de fixation central qui est déterminant pour le corps médical. Le champ visuel du recourant a donc bel et bien été établi, ce que le Tribunal cantonal a retenu à juste titre.
Enfin, le recourant, qui s'est exprimé par son mémoire du 7 avril 2011, par son mémoire complémentaire du 5 septembre 2011 et lors de l'audience du 15 décembre 2011, n'a à aucun moment demandé que les médecins intervenus dans cette affaire ou d'autres experts apportent un complément d'information quant à la méthode de mesure de son champ visuel. La cour cantonale lui a pourtant donné l'opportunité de requérir des mesures d'instructions complémentaires (correspondance au recourant du 14 juillet 2011), ce à quoi il a expressément renoncé (courrier du recourant du 5 septembre 2011).
Dans ces circonstances, la cour cantonale n'avait pas à ordonner de plus amples mesures d'instruction en relation avec la mesure du champ visuel du recourant. Il n'y a pas, dès lors, de violation du droit d'être entendu.
3. L'<ref-law> (RS 741.01), dans sa teneur en vigueur depuis le 1er janvier 2005, prévoit notamment que le permis d'élève conducteur ou le permis de conduire est retiré pour une durée indéterminée à la personne dont les aptitudes physiques et psychiques ne lui permettent pas ou plus de conduire avec sûreté un véhicule automobile (let. a). L'art. 7 de l'ordonnance du 27 octobre 1976 réglant l'admission des personnes et des véhicules à la circulation routière (OAC; RS 741.51) précise que tout candidat au permis d'élève conducteur, au permis de conduire ou à une autorisation de transporter des personnes à titre professionnel doit satisfaire aux exigences médicales de l'annexe 1 (al. 1); dans la mesure où il n'existe pas de motif d'exclusion selon l'<ref-law>, l'autorité cantonale peut déroger aux exigences médicales requises lorsqu'un médecin ou un institut chargé des examens spéciaux le propose (al. 3). L'annexe 1 de l'OAC distingue trois groupes en fonction de la catégorie de permis de conduire, pour lesquels différentes exigences médicales sont imposées. Les prétendants aux permis de catégorie A et B appartiennent au 3e groupe, pour lequel les critères suivants doivent être respectés en matière de vue:
"Un ?il corrigé minimum 0,6, l'autre corrigé au moins 0,1. Champ visuel minimum 140° horizontalement. Pas de diplopie. Vision monoculaire: corrigée ou non corrigée minimum 0,8. Pas de diminution du champ visuel. En outre, pour les borgnes, délai d'attente de 4 mois au minimum après le début de l'infirmité, puis examen par un expert de la circulation et présentation du certificat d'un oculiste. Après une opération de la cataracte, il faut fixer, pour les borgnes, un délai d'attente de quatre mois. Les candidats dont l'acuité visuelle n'est suffisante qu'avec des lunettes ou des verres de contact sont tenus de les porter pour conduire. Dans l'obscurité, les lunettes munies de verres teintés peuvent présenter un taux d'absorption de 35 pour cent au maximum. Les borgnes atteints de surdité ne sont pas autorisés à conduire des véhicules."
3.1 Le recourant se plaint d'une atteinte à sa liberté personnelle et à sa vie privée ainsi que d'une violation des principes de la légalité et de l'interdiction de l'arbitraire dans l'application qu'a faite la cour cantonale de l'annexe 1 OAC à son cas. En réalité, tels qu'ils sont soulevés, ces griefs découlent tous de la question de savoir si, en retenant que le recourant ne dispose pas du champ visuel minimal de 140° sur le méridien passant par le point de fixation central, le Tribunal cantonal a violé l'<ref-law>, respectivement l'annexe 1 OAC.
Le Tribunal cantonal a en effet considéré que le champ visuel horizontal dont il est question à l'annexe 1 OAC est le champ mesuré au point de fixation central. Le champ visuel horizontal du recourant étant de 90° en ce point, la cour cantonale en a inféré que les exigences médicales de l'annexe 1 OAC permettant de prétendre à un permis de conduire ne sont pas réalisées en l'espèce.
Le recourant conteste pour sa part que le champ visuel horizontal doive impérativement être mesuré sur le méridien passant par le point de fixation central. Il fait valoir qu'aucune disposition légale formelle ni aucune disposition de rang inférieur n'autorise à restreindre la mesure du champ visuel à une ligne horizontale passant par le point de fixation central. Savoir si cette question technique relève du fait - auquel cas l'argumentation purement appellatoire du recourant serait irrecevable (cf. art. 105 al. 1 et 97 al. 1 LTF) - ou du droit peut demeurer indécise au vu des développements qui suivent.
3.2 Au préalable, il y a lieu de relever que c'est bien le champ visuel du recourant, et non le déficit de son champ visuel, qui a été mesuré à 90° sur le méridien passant par le point de fixation central. Cela ressort non seulement du rapport de l'UMPT du 20 novembre 2009, mais également des périmétries auxquelles le recourant se réfère (pièces 7 et 8 qu'il a lui-même produites). Les griefs du recourant tendant à faire intervenir la variabilité du champ visuel d'un individu sain à l'autre, partant la variabilité du champ visuel résiduel en cas de déduction d'un certain déficit, sont donc sans pertinence en l'espèce.
3.3 L'<ref-law> délègue au Conseil fédéral la compétence d'édicter les exigences minimums auxquelles doivent satisfaire les conducteurs de véhicules automobiles quant à leurs aptitudes physiques et psychiques. L'annexe 1 de l'OAC décrit certaines de ces exigences de façon vague (voir par exemple sous "système nerveux"), alors que d'autres sont relativement précises. C'est le cas des exigences requises pour la vue du candidat, pour laquelle le législateur a pris le parti de fixer des limites chiffrées, en particulier pour le champ visuel horizontal, qui doit être de 140°. L'ordonnance ne précise en revanche pas comment cet angle doit être mesuré ni quelle partie du champ de vision il doit recouvrir. Pour comparaison, la norme équivalente de l'Union européenne (Annexe III, par. 6.1 de la Directive 2006/126/CE du 20 décembre 2006), qui prescrit un champ visuel de 120° au minimum sur le plan horizontal, fait référence aux mêmes termes mais ne donne pas plus de précision.
Pour les médecins qui se sont exprimés en procédure, l'axe horizontal déterminant est celui passant par le point de fixation central (cf. le courriel que le Dr X._ a adressé au recourant le 1er août 2010). Les avis de tous les spécialistes intervenus dans le cas d'espèce, y compris les médecins-traitant de A._, se rejoignent sur cette question.
Le recourant tente de faire valoir sa propre interprétation de la notion de champ visuel horizontal, qui va à l'encontre de la pratique médicale. Les exemples qu'il cite de cas - extrêmes - dans lesquels l'interprétation du Tribunal cantonal serait "déplacée, si ce n'est même intégralement absurde" ne lui sont d'aucun secours. C'est précisément pour éviter toute solution absurde ou insoutenable que le législateur a laissé la porte ouverte aux exceptions par la mise en place du régime dérogatoire de l'<ref-law>. Les arguments que le recourant tire d'une comparaison avec le "justiciable qui disposerait d'une ligne visuelle virginale seulement" tombent ainsi à faux.
3.4 Le recourant fait également valoir une violation des principes de l'égalité de traitement, de la légalité et de la proportionnalité compte tenu de la comparaison de sa situation avec celle d'un borgne. Ce faisant, il considère à tort que le champ de vision monoculaire est de 90° (soit 180°/2). En effet, le champ de vision monoculaire est usuellement de 140° à 150° (cf. arrêt attaqué, consid. 2b p. 11, ainsi que les explications du Dr X._ données par courriel, selon lesquelles le champ de vision monoculaire est de 62° + 80 à 90°). Partant, le borgne qui ne connaît pas d'autre déficit visuel satisfait au critère du champ de vision horizontal minimal de 140°, mesuré au point de fixation central, requis par l'annexe 1 OAC. Contrairement à ce que prétend le recourant, les exigences légales imposées à une personne à vision monoculaire ne sont pas plus favorables puisqu'elles sont posées en sus de celle du champ visuel horizontal de 140°.
Les différents griefs en relation avec le régime applicable en cas de vision monoculaire sont donc infondés.
3.5 Le recourant conclut à pouvoir répéter le test "de la double tâche" sans toutefois exposer en quoi cette possibilité devrait lui être accordée. C'est sur la base du test de la double tâche et des autres tests auquel l'UMPT a soumis le recourant, que la cour cantonale a jugé qu'une dérogation aux exigences médicales légales n'était pas envisageable. Ainsi, répéter l'un de ces tests n'aurait de sens que s'il existait un doute dans l'appréciation qu'ont faite les experts de la capacité du recourant à conduire.
En l'espèce, le recourant ne se prévaut pas du régime dérogatoire de l'<ref-law>. Son argumentaire s'articule uniquement autour de l'exigence d'un champ visuel horizontal de 140° prescrite par l'annexe I OAC. En application de l'<ref-law>, en l'absence de toute motivation liée à l'éventuel octroi d'une dérogation, il n'y a pas lieu d'entrer en matière sur l'examen de la nécessité d'un nouveau test "de la double tâche".
4. Il résulte de ce qui précède que le recours doit être rejeté, dans la mesure de sa recevabilité, aux frais du recourant (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Les frais judiciaires, arrêtés à 2'000 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, au Département de la sécurité et de l'environnement du canton de Vaud, Service des automobiles et de la navigation, au Tribunal cantonal du canton de Vaud, Cour de droit administratif et public, et à l'Office fédéral des routes.
Lausanne, le 8 novembre 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Aemisegger
La Greffière: Sidi-Ali