Faits: A. Par décision du 20 mars 2009, l'Autorité fédérale de surveillance en matière de révision (ci-après: l'Autorité fédérale de surveillance) a accordé à X._, né en ****, l'agrément en qualité de réviseur. Le prénommé est président du conseil d'administration et directeur de la société Y._ SA, à Genève, qui a également été agréée en cette qualité en 2009, et qui exerçait la fonction d'organe de révision de la Fondation patronale de prévoyance en faveur du personnel de la Société anonyme Z._ (ci-après: la Fondation patronale). Le 13 mars 2009, l'Autorité de surveillance des fondations et des institutions de prévoyance du canton de Genève (ci-après: l'Autorité cantonale de surveillance) a informé la Fondation patronale que, dès l'exercice 2008, elle devait nommer un nouvel organe de contrôle disposant de l'agrément en qualité d'expert-réviseur, Y._ SA n'étant pas inscrite à ce titre dans le registre des entreprises agréées par l'Autorité fédérale de surveillance. Le 4 février 2010, Y._ SA a adressé à l'Autorité cantonale de surveillance le rapport de révision relatif à l'exercice 2008 de la Fondation patronale, daté du 12 juin 2009 et signé par X._ en qualité de réviseur responsable. A la suite de ce courrier, l'Autorité cantonale de surveillance est intervenue à nouveau auprès de la Fondation patronale, en date du 15 février 2010, pour l'inviter à lui remettre un nouveau rapport établi par un organe de révision agréé comme expert-réviseur. Informée de ces faits, l'Autorité fédérale de surveillance, par décision du 15 février 2011, a prononcé, pour la durée d'un an, le retrait de l'agrément de X._ en qualité de réviseur et sa radiation du registre des réviseurs, au motif que la violation des dispositions légales régissant la profession de l'intéressé ne permettait plus de considérer que celui-ci jouissait d'une réputation irréprochable. B. Saisi d'un recours à l'encontre de cette décision, le Tribunal administratif fédéral l'a rejeté, par arrêt du 24 octobre 2012. Il a retenu, en substance, que X._ n'avait pas respecté les normes légales régissant l'exercice de sa profession, que ce manquement était incompatible avec la garantie d'une activité de révision irréprochable, qu'il avait violé l'art. 40 al. 1 let. a de la loi fédérale du 16 décembre 2005 sur l'agrément et la surveillance des réviseurs (LSR; RS 221.302) prévoyant des sanctions pénales et que la mesure contestée ne violait ni la garantie constitutionnelle de la liberté économique ni le principe de la proportionnalité. C. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, outre d'accorder l'effet suspensif au recours, d'annuler l'arrêt du Tribunal administratif fédéral du 24 octobre 2012. Il se plaint d'une interprétation insoutenable de la notion de réputation irréprochable au sens des art. 4 et 5 LSR et soutient que le retrait de l'agrément qui lui a été notifié heurte le principe de proportionnalité. Le Tribunal administratif fédéral renonce à prendre position sur le recours. L'Autorité fédérale de surveillance conclut à son rejet. Par ordonnance du 10 janvier 2013, le Président de la IIe Cour de droit public du Tribunal fédéral a admis la requête d'effet suspensif.