Faits: A. X._ a obtenu le permis de conduire à l'essai en mars 2008. Le 3 juin 2010, un retrait de permis de trois mois avec une prolongation d'un an de la période probatoire a été prononcé à son encontre, en raison d'une infraction à la loi fédérale sur la circulation routière (LCR, RS 741.01) commise le 18 avril 2010 (conduite en état d'ébriété et non-respect de la signalisation). Selon un rapport de dénonciation de la gendarmerie vaudoise du 10 mars 2011, X._ circulait au volant d'un véhicule le 19 février 2011 sur l'autoroute A9 entre Villeneuve et Montreux à une vitesse effective de 150 km/h (marge de sécurité déduite) alors que la vitesse autorisée était de 120 km/h. Le prénommé n'a pas donné suite à l'invitation du 18 mars 2011 de l'Office cantonal des automobiles et de la navigation (ci-après: l'OCAN) de se déterminer à propos d'une éventuelle sanction administrative en lien avec l'infraction précitée. Par décision exécutoire du 11 avril 2011, l'OCAN a prononcé la caducité du permis de conduire à l'essai de l'intéressé. Il était précisé que la demande d'un nouveau permis d'élève conducteur pourrait intervenir au plus tôt un an après l'infraction commise et uniquement sur présentation d'un rapport favorable du Centre universitaire romand de médecine légale. B. Par arrêt du 3 juin 2011, le Tribunal administratif de première instance (ci-après: le TAPI) a rejeté le recours déposé par X._. Le 13 mars 2012, la Chambre administrative de la Cour de justice (ci- près: la Cour de justice) a confirmé le prononcé du TAPI. Le dépassement de la vitesse autorisée commise le 19 février 2011 constituait une infraction légère au sens de l'art. 16a LCR devant être sanctionnée par un nouveau retrait de permis en vertu de l'art. 16a al. 2 LCR. Dans le cas d'un conducteur titulaire d'un permis de conduire à l'essai, une telle mesure de retrait entraînait la caducité du permis provisoire en application de l'art. 15a al. 4 LCR. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral d'annuler l'arrêt entrepris ainsi que la décision de l'OCAN prononçant la caducité de son permis de conduire à l'essai. Subsidiairement, il conclut à l'annulation de l'arrêt attaqué et au renvoi de la cause pour nouvelle décision dans le sens des considérants. Il se plaint d'une violation de l'art. 15a al. 4 LCR. La Cour de justice s'est référée aux considérants et au dispositif de son arrêt. L'Office fédéral de la circulation routière a conclu au rejet du recours aux termes de ses observations. Le recourant a répliqué.