Faits:
A. X._ a obtenu le permis de conduire à l'essai en mars 2008. Le 3 juin 2010, un retrait de permis de trois mois avec une prolongation d'un an de la période probatoire a été prononcé à son encontre, en raison d'une infraction à la loi fédérale sur la circulation routière (LCR, RS 741.01) commise le 18 avril 2010 (conduite en état d'ébriété et non-respect de la signalisation).
Selon un rapport de dénonciation de la gendarmerie vaudoise du 10 mars 2011, X._ circulait au volant d'un véhicule le 19 février 2011 sur l'autoroute A9 entre Villeneuve et Montreux à une vitesse effective de 150 km/h (marge de sécurité déduite) alors que la vitesse autorisée était de 120 km/h. Le prénommé n'a pas donné suite à l'invitation du 18 mars 2011 de l'Office cantonal des automobiles et de la navigation (ci-après: l'OCAN) de se déterminer à propos d'une éventuelle sanction administrative en lien avec l'infraction précitée.
Par décision exécutoire du 11 avril 2011, l'OCAN a prononcé la caducité du permis de conduire à l'essai de l'intéressé. Il était précisé que la demande d'un nouveau permis d'élève conducteur pourrait intervenir au plus tôt un an après l'infraction commise et uniquement sur présentation d'un rapport favorable du Centre universitaire romand de médecine légale.
B. Par arrêt du 3 juin 2011, le Tribunal administratif de première instance (ci-après: le TAPI) a rejeté le recours déposé par X._. Le 13 mars 2012, la Chambre administrative de la Cour de justice (ci- près: la Cour de justice) a confirmé le prononcé du TAPI. Le dépassement de la vitesse autorisée commise le 19 février 2011 constituait une infraction légère au sens de l'<ref-law> devant être sanctionnée par un nouveau retrait de permis en vertu de l'<ref-law>. Dans le cas d'un conducteur titulaire d'un permis de conduire à l'essai, une telle mesure de retrait entraînait la caducité du permis provisoire en application de l'<ref-law>.
C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt entrepris ainsi que la décision de l'OCAN prononçant la caducité de son permis de conduire à l'essai. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause pour nouvelle décision dans le sens des considérants. Il se plaint d'une violation de l'<ref-law>.
La Cour de justice s'est référée aux considérants et au dispositif de son arrêt. L'Office fédéral de la circulation routière a conclu au rejet du recours aux termes de ses observations. Le recourant a répliqué.

Considérant en droit:
1. La voie du recours en matière de droit public, au sens des <ref-law>, est ouverte contre une décision de dernière instance cantonale au sujet d'une mesure administrative de retrait ou d'annulation du permis de conduire. Le recourant a qualité pour agir au sens de l'art. 89 al. 1 let. a et b LTF. Le recours est formé en temps utile contre une décision finale prise en dernière instance cantonale non susceptible de recours devant le Tribunal administratif fédéral; il est recevable au regard des art. 42, 86 al. 1 let. d, 90 et 100 al. 1 LTF.
2. Le recourant se plaint d'une mauvaise interprétation et application de l'<ref-law>.
2.1 Selon l'<ref-law>, le permis de conduire est tout d'abord délivré à l'essai pour trois ans (al. 1). Le permis de conduire définitif est délivré après cette période probatoire si le titulaire a suivi les cours de formation complémentaire (al. 2). En cas de retrait du permis en raison d'une infraction, la période probatoire est prolongée d'un an (al. 3). Le permis de conduire à l'essai est caduc si son titulaire commet une seconde infraction entraînant un retrait (al. 4). Un nouveau permis peut être délivré au plus tôt un an après l'infraction, sur la base d'une expertise psychologique attestant l'aptitude à conduire (al. 5). Après avoir passé avec succès l'examen de conduite, la personne concernée obtient un nouveau permis de conduire à l'essai (al. 6).
La LCR distingue les infractions légères, moyennement graves et graves (art. 16a - c LCR). Selon l'<ref-law>, après une infraction légère, le permis d'élève conducteur ou le permis de conduire est retiré pour un mois au moins au conducteur qui a fait l'objet d'un retrait de permis ou d'une autre mesure administrative au cours des deux années précédentes (<ref-law>).
2.2 Le permis de conduire à l'essai a été introduit avec la révision de la LCR entrée en vigueur le 1er décembre 2005. Il oblige les nouveaux conducteurs à démontrer leurs aptitudes pratiques en matière de conduite pendant une période probatoire de trois ans avant qu'un permis de conduire de durée illimitée ne leur soit définitivement octroyé. Au cours de la période probatoire, le nouveau conducteur doit faire la démonstration d'un comportement irréprochable dans la circulation. Les infractions aux règles de la circulation commises par les titulaires de permis de conduire de durée limitée ne déclenchent ainsi pas uniquement des sanctions pénales et des mesures administratives. Durant la période probatoire, elles rendent également plus difficile l'octroi du permis de conduire de durée illimitée (<ref-ruling> consid. 6.1 p. 348 et les réf.; cf. DEMIERRE/MIZEL/MOURON, Les mesures administratives liées au nouveau permis de conduire à l'essai, in PJA 2007 729 ss). Les retraits de permis (en raison d'infractions selon les art. 16a à 16c LCR) entraînent une prolongation de la période probatoire d'une année. Selon le Message du Conseil fédéral du 31 mars 1999 concernant la modification de la loi fédérale sur la circulation routière (FF 1999 4106), la période probatoire n'est pas réussie (et le permis à l'essai tombe) si une deuxième infraction entraînant le retrait du permis de conduire est commise pendant la période probatoire (FF 1999 4130; <ref-ruling> consid. 6.1 p. 348; cf. DEMIERRE/MIZEL/MOURON, op. cit. p. 731 s.). Le nouvel instrument du droit des mesures administratives poursuit une fonction éducative et son but est notamment de diminuer les accidents en sanctionnant de manière plus sévère ceux qui compromettent la sécurité routière (<ref-ruling> consid. 5.1 et 5.3 p. 454 ss; arrêt 1C_559/2008 du 15 mai 2009 consid. 3.1 publié in JdT 2009 I 516).
2.3 Il n'est pas contesté en l'espèce que le recourant a commis une infraction légère (excès de vitesse de 26 km/h sur l'autoroute) dans les deux ans suivant une précédente mesure administrative de retrait de permis. L'intéressé considère cependant que cette seconde infraction qualifiée de légère ne provoque pas la caducité du permis de conduire à l'essai; seule une infraction grave ou moyennement grave pourrait entraîner le mécanisme de l'<ref-law>.
L'interprétation de l'<ref-law> soutenue par le recourant ne peut être suivie. En effet, le Tribunal fédéral a eu l'occasion de préciser que la commission d'une infraction légère, pour laquelle un retrait de permis aurait dû être ordonné en application de l'<ref-law>, suffisait pour entraîner la caducité du permis provisoire selon l'<ref-law> (<ref-ruling> consid. 6.1; cf. également DEMIERRE/MIZEL/MOURON, op. cit., pp. 733 et 737). Cette interprétation est conforme à la lettre claire ainsi qu'au sens et au but de cette disposition (cf. <ref-ruling> consid. 6; arrêt 1C_202/2010 du 1er octobre 2010 consid. 3.3 et 4). Pour les nouveaux conducteurs, l'annulation du permis à l'essai ne dépend pas de la gravité de l'infraction. L'élément déterminant est plutôt la présence d'une première infraction ayant entraîné le retrait du permis (et la prolongation de la période d'essai) et d'une seconde infraction qui conduit elle aussi à un retrait (cf. <ref-ruling> consid. 5.3 p. 456). Le recourant qui s'est rendu coupable d'une deuxième infraction pendant la période probatoire montre qu'il ne dispose pas de la maturité nécessaire pour conduire un véhicule.
2.4 La Cour de justice n'a donc pas violé le droit fédéral en confirmant l'annulation du permis de conduire à l'essai en vertu de l'art. 15a al. 4 en relation avec l'<ref-law>.
3. Le recours doit par conséquent être rejeté aux frais du recourant qui succombe (<ref-law>). Il n'est pas alloué de dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 2'000 francs, sont mis à la charge du recourant.
3. Le présent arrêt est communiqué au mandataire du recourant, à l'Office cantonal des automobiles et de la navigation, à la Chambre administrative de la Cour de justice de la République et canton de Genève, ainsi qu'à l'Office fédéral des routes.
Lausanne, le 28 août 2012
Au nom de la Ire Cour de droit public
du Tribunal fédéral suisse
Le Juge présidant: Aemisegger
La Greffière: Arn