Faits:
A. A.a A._ a travaillé depuis le 18 août 2003 en qualité de man?uvre sur le chantier souterrain de percement du tunnel de base de X._ pour le compte de Y._ SA. A ce titre, il était assuré contre les accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA).
Le 23 mars 2004, il a été heurté à la tête, au bras et à la jambe gauches par un bloc de rocher tombant d'un concasseur. A l'hôpital Z._ où il a été admis en urgence, les médecins ont diagnostiqué une fracture comminutive ouverte de stade II du tibia et du péroné gauches, une fracture du tiers médian du radius gauche et des blessures au front, au dos du nez et sous l'?il gauche. Les fractures ont été ostéosynthésées. Après avoir séjourné jusqu'au 13 avril 2004 à l'hôpital, l'assuré a été transféré à la Clinique W._, où il a été soigné du 14 avril au 15 juin 2004. Le cas a été pris en charge par la CNA, qui, par décision sur opposition du 30 mars 2011, a nié le droit à une rente, le taux d'invalidité ne s'élevant qu'à 6.8 %. Statuant sur recours de l'assuré, le Tribunal cantonal valaisan, Cour des assurances sociales, l'a rejeté par jugement du 3 janvier 2012. Saisi à son tour d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral a statué par arrêt dont la date est identique à celle du présent arrêt (cause 8C_145/2012).
A.b Le 4 avril 2005, A._ a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office cantonal AI du Valais (ci-après: l'office AI) en vue de l'octroi d'une orientation professionnelle, d'un reclassement dans une nouvelle profession, d'un placement et d'une rente. Le docteur R._, chirurgien orthopédiste et médecin traitant, a diagnostiqué une pseudarthrose de la jambe gauche en raison de l'absence de consolidation du tibia proximal (rapports des 16 mai et 29 septembre 2005). Ce diagnostic a été confirmé par le docteur T._, spécialiste en médecine interne et médecin au SMR V._, dans son rapport final du 4 octobre 2006.
Par projet d'acceptation de rente du 18 janvier 2008, confirmé par décision du 7 avril 2008, l'office AI a octroyé à l'assuré une rente entière d'invalidité, fondée sur un degré d'invalidité de 100 %, dès le 1er mars 2005.
Dans le cadre d'une révision, initiée le 13 août 2008, l'office AI a demandé des renseignements au docteur B._, chirurgien orthopédiste au Service d'orthopédie et de traumatologie de l'Hôpital U._, qui a soigné l'assuré depuis le 20 févier 2007 et l'a opéré à de nombreuses reprises de 2007 à 2009. Dans un rapport du 12 janvier 2010, le docteur B._ a diagnostiqué, avec répercussion sur la capacité de travail, une fracture de jambe avec retard de consolidation malgré de multiples interventions. Il a estimé que l'activité antérieure n'était plus exigible mais que, dans une activité adaptée, la capacité de travail était entière. Le médecin a retenu les limitations fonctionnelles suivantes: travail en position assise ou alternée, sans marche en terrain irrégulier, dans les escaliers ou sur échafaudages, sans accroupissement ni agenouillement et sans port de charges. Le docteur T._ a diagnostiqué, avec répercussion sur la capacité de travail, un status après fracture ouverte du tibia gauche multi-opéré (S 82.2). Il a admis une incapacité totale de travail dans l'activité antérieure et une capacité de travail entière dans une activité adaptée respectant les limitations fonctionnelles (rapport du 6 juin 2010).
Par projet de décision du 25 juin 2010, confirmé par décision du 6 septembre 2010, l'office AI a refusé le reclassement en raison de l'absence d'incapacité de travail.
Statuant sur le droit à la rente, l'office a considéré que l'état de santé de l'assuré s'était amélioré et que les conditions d'une révision (art. 17 LPGA) étaient données (projet de décision du 21 octobre 2010). Pour procéder à la comparaison des revenus, il a fixé le revenu d'invalide sur la base de l'Enquête suisse sur la structure des salaires éditée par l'Office fédéral de la statistique (ESS 2008, TA1, valeur centrale, niveau de qualification 4, augmenté de l'adaptation salariale pour 2009) à 54'110 fr. 75). Le revenu valide a également été calculé sur la base de l'ESS, compte tenu d'une activité dans l'hôtellerie (secteur 55) et d'un niveau de qualification 3. L'office AI avait en effet estimé que, sans invalidité, l'assuré aurait quitté l'activité de man?uvre sur les chantiers souterrains après la fin du percement du tunnel O._ et qu'il aurait repris à son compte l'exploitation d'un restaurant-pizzeria, comme l'intéressé l'avait précisé dans ses déclarations. Ce projet de décision a été confirmé par une décision du 1er décembre 2010, laquelle prévoyait la suppression de la rente dès le 1er février 2011.
B. L'assuré a déféré cette décision au Tribunal cantonal valaisan, Cour des assurances sociales, qui, par jugement du 3 janvier 2012, a rejeté le recours.
C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut, sous suite de frais et dépens, principalement, à l'octroi d'un quart de rente AI, basé sur un taux d'invalidité de 40 %, et, subsidiairement, au renvoi de la cause à l'office AI pour un nouveau calcul du revenu sans invalidité.
L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. 1.1 Le recours en matière de droit public (art. 82 ss LTF) peut être formé pour violation du droit selon les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF). Il n'est donc limité ni par les arguments soulevés dans le recours ni par la motivation retenue par l'autorité précédente; il peut admettre un recours pour un autre motif que ceux qui ont été invoqués et il peut rejeter un recours en adoptant une argumentation différente de celle de l'autorité précédente (cf. <ref-ruling> consid. 1.4 p. 140).
1.2 Le Tribunal fédéral statue sur la base des faits établis par l'autorité précédente (art. 105 al. 1 LTF). Il peut cependant rectifier ou compléter d'office les constatations de l'autorité précédente si les faits ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF).
2. Est litigieux le droit du recourant à percevoir une rente d'invalidité et, le cas échéant, le taux de celle-ci au-delà du 1er février 2011.
3. Le seul point contesté en procédure fédérale concerne le revenu sans invalidité.
3.1 La juridiction cantonale a considéré comme établi au degré de la vraisemblance prépondérante que, sans accident, le recourant n'aurait pas continué son activité de man?uvre sur chantiers souterrains mais qu'il aurait, comme il l'a déclaré, repris l'exploitation d'un restaurant-pizzeria. Elle a donc fixé le salaire sans invalidité à 47'895 fr. sur la base de l'ESS (TA 1, secteur 55/hôtellerie, niveau de qualification 4).
3.2 Le recourant fait grief à la juridiction cantonale d'avoir violé le droit fédéral, en particulier l'art. 15 al. 2 LAA, en ne prenant pas en compte, pour fixer le revenu sans invalidité, le dernier salaire qu'il avait perçu en sa qualité de man?uvre sur les chantiers souterrains.
3.2 Le recourant fait grief à la juridiction cantonale d'avoir violé le droit fédéral, en particulier l'art. 15 al. 2 LAA, en ne prenant pas en compte, pour fixer le revenu sans invalidité, le dernier salaire qu'il avait perçu en sa qualité de man?uvre sur les chantiers souterrains.
3.3 3.3.1 Les règles légales et jurisprudentielles sur la manière d'effectuer la comparaison des revenus (art. 16 LPGA), y compris celles concernant l'utilisation de l'ESS, relèvent de questions de droit. Sous cet angle, la constatation des deux revenus hypothétiques à comparer est une question de fait, dans la mesure où elle repose sur une appréciation concrète des preuves; il s'agit en revanche d'une question de droit si elle se fonde sur l'expérience générale de la vie. Ainsi, relèvent du droit les questions de savoir si les salaires statistiques de l'ESS sont applicables ou quel tableau statistique est déterminant (<ref-ruling> consid. 3.3 p. 399).
3.3.2 Le recourant critique le fait que la juridiction cantonale s'est fondée sur les salaires statistiques pour déterminer le revenu sans invalidité. Cette question relève du droit.
3.3.3 Le revenu sans invalidité est celui que l'assuré aurait pu obtenir s'il n'était pas devenu invalide (art. 16 LPGA; art. 28a al.1 LAI). Selon la jurisprudence, pour fixer le revenu sans invalidité, il faut établir ce que l'assuré aurait, au degré de la vraisemblance prépondérante, réellement pu obtenir au moment déterminant s'il n'était pas invalide. Le revenu sans invalidité doit être évalué de la manière la plus concrète possible. C'est pourquoi il se déduit en principe du salaire réalisé en dernier lieu par l'assuré avant l'atteinte à la santé, en tenant compte de l'évolution des salaires. Pour savoir s'il y a lieu de prendre en considération un changement hypothétique d'activité, les possibilités théoriques de développement professionnel ou d'avancement ne doivent être prises en considération que lorsqu'il est très vraisemblable qu'elles seraient advenues. Il convient, à cet égard, d'exiger la preuve d'indices concrets que l'assuré aurait obtenu dans les faits un avancement ou une augmentation corrélative de ses revenus, s'il n'était pas devenu invalide. Des indices concrets en faveur de l'évolution de la carrière professionnelle doivent exister, par exemple, lorsque l'employeur a laissé entrevoir une telle perspective d'avancement ou a donné des assurances en ce sens. De simples déclarations d'intention de l'assuré ne suffisent pas (arrêts 9C_486/2011 du 12 octobre 2011 consid. 4.1 et 9C_523/2008 du 25 mai 2009 consid. 2.2). Lorsque l'invalidité est la conséquence d'un accident, ces indices doivent déjà avoir existé au moment où celui-ci s'est produit (arrêt U 222/97 du 23 juin 1999 consid. 5c résumé in: REAS 2003 p. 66).
3.3.4 En l'espèce, il est évident que le recourant n'avait pas l'intention de gagner moins qu'auparavant en devenant un jour exploitant d'une pizzeria. Bien au contraire, il faudrait donc se fonder sur un revenu d'exploitant d'un établissement public de ce genre, revenu qui varie fortement en fonction des circonstances (et non sur un revenu salarié). Cela étant, en déclarant successivement en 2005 et en 2006 à un inspecteur et à un médecin de la CNA qu'il entendait travailler dans la restauration, le recourant faisait part d'un simple projet d'avenir. Or, la jurisprudence ne se contente pas de déclarations d'intention: des indices concrets en faveur de l'évolution de la carrière professionnelle doivent exister, par exemple, lorsque l'employeur a laissé entrevoir une telle perspective d'avancement ou a donné des assurances dans ce sens.
Par ailleurs, lorsque l'invalidité est la conséquence d'un accident, ces indices doivent déjà avoir existé au moment où celui-ci s'est produit (p. ex. arrêt 9C_486/2011 précité consid. 4.1). Ce qui vaut dans un sens (perspective d'avancement) doit aussi valoir dans l'autre sens (passage à un statut d'indépendant supposé moins rémunérateur). En l'occurrence, il n'y a pas d'éléments suffisants pour admettre que l'assuré n'aurait pas continué, à moyen terme tout au moins, une activité de tunnelier sur un des nombreux chantiers souterrains en Suisse (tunnel de base du Gotthard, tunnels routiers etc.). C'est donc un revenu dans une telle activité qui doit être pris en compte au titre de revenu sans invalidité. Le recourant estime que le revenu sans invalidité coïncide avec le salaire figurant sur la déclaration d'accident LAA du 29 mars 2004, soit 86'374 fr. Les éléments du dossier ne permettent pas de confirmer sans autre ce montant, lequel devrait de toute manière être adapté jusqu'en 2011, année au cours de laquelle le droit à la rente a été supprimé (cf. décision de l'office AI du 1er décembre 2010).
3.4 Il s'ensuit que le jugement entrepris doit être annulé et la cause renvoyée aux premiers juges pour qu'ils déterminent, compte tenu de ce qui précède, le revenu sans invalidité de l'intéressé, au besoin après instruction complémentaire et qu'ils fixent le taux d'invalidité avant de rendre une nouvelle décision sur le bien-fondé ou non de la suppression du droit à la rente d'invalidité par l'office intimé dès le 1er février 2011.
4. Le recourant obtient gain de cause, de sorte qu'il peut prétendre une indemnité de dépens à la charge de l'office intimé (art. 68 al. 1 LTF). Ce dernier supportera également les frais de justice (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis en ce sens que le jugement du du 3 janvier 2012 (cause no S1 11 16) du Tribunal cantonal valaisan, Cour des assurances sociales, est annulé, la cause étant renvoyée à la juridiction cantonale pour nouvelle décision au sens des considérants.
2. Les frais judiciaires, fixés à 500 fr., sont mis à la charge de l'office intimé.
3. L'office intimé versera la somme de 2'000 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, au Tribunal cantonal valaisan, Cour des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 9 novembre 2012
Au nom de la Ire Cour de droit social
du Tribunal fédéral suisse
Le Président: Ursprung
La Greffière: Berset