Faits: A. Le 23 janvier 2009, X._, né en 1955, a déposé une demande tendant à être agréé en qualité d'expert-réviseur auprès de l'Autorité fédérale de surveillance en matière de révision (ci-après: l'Autorité de surveillance). Il a produit, à cet effet, son "Master of Advanced Studies HES-SO en lutte contre la criminalité économique" obtenu, le 16 janvier 2009, auprès de la Haute école spécialisée de Suisse occidentale (HES-SO) et mis en avant ses vingt-six ans de pratique professionnelle dans le domaine de la révision. Par décision du 4 août 2009, l'Autorité de surveillance a refusé l'agrément requis au motif que le titre obtenu par X._ ne figurait pas dans la liste exhaustive légale. Le Tribunal administratif fédéral a rejeté le recours de l'intéressé, par arrêt du 13 août 2010, pour la même raison. B. Agissant par la voie du recours en matière de droit public, X._ demande au Tribunal fédéral, sous suite de frais et dépens, de dire qu'il réunit les conditions légales pour l'octroi de l'agrément d'expert-réviseur et de condamner, en tant que de besoin, l'Autorité de surveillance à l'agréer en qualité d'expert-réviseur. Le Tribunal administratif fédéral a renoncé à déposer des observations. L'Autorité fédérale de surveillance conclut à l'irrecevabilité du recours et, si celui-ci devait être déclaré recevable, à son rejet.