Faits: A. A.a A._ a travaillé depuis le 18 août 2003 en qualité de man?uvre sur le chantier souterrain de percement du tunnel de base de X._ pour le compte de Y._ SA. A ce titre, il était assuré contre les accidents auprès de la Caisse nationale suisse d'assurance en cas d'accidents (CNA). Le 23 mars 2004, il a été heurté à la tête, au bras et à la jambe gauches par un bloc de rocher tombant d'un concasseur. A l'hôpital Z._ où il a été admis en urgence, les médecins ont diagnostiqué une fracture comminutive ouverte de stade II du tibia et du péroné gauches, une fracture du tiers médian du radius gauche et des blessures au front, au dos du nez et sous l'?il gauche. Les fractures ont été ostéosynthésées. Après avoir séjourné jusqu'au 13 avril 2004 à l'hôpital, l'assuré a été transféré à la Clinique W._, où il a été soigné du 14 avril au 15 juin 2004. Le cas a été pris en charge par la CNA, qui, par décision sur opposition du 30 mars 2011, a nié le droit à une rente, le taux d'invalidité ne s'élevant qu'à 6.8 %. Statuant sur recours de l'assuré, le Tribunal cantonal valaisan, Cour des assurances sociales, l'a rejeté par jugement du 3 janvier 2012. Saisi à son tour d'un recours en matière de droit public contre ce jugement, le Tribunal fédéral a statué par arrêt dont la date est identique à celle du présent arrêt (cause 8C_145/2012). A.b Le 4 avril 2005, A._ a déposé une demande de prestations de l'assurance-invalidité auprès de l'Office cantonal AI du Valais (ci-après: l'office AI) en vue de l'octroi d'une orientation professionnelle, d'un reclassement dans une nouvelle profession, d'un placement et d'une rente. Le docteur R._, chirurgien orthopédiste et médecin traitant, a diagnostiqué une pseudarthrose de la jambe gauche en raison de l'absence de consolidation du tibia proximal (rapports des 16 mai et 29 septembre 2005). Ce diagnostic a été confirmé par le docteur T._, spécialiste en médecine interne et médecin au SMR V._, dans son rapport final du 4 octobre 2006. Par projet d'acceptation de rente du 18 janvier 2008, confirmé par décision du 7 avril 2008, l'office AI a octroyé à l'assuré une rente entière d'invalidité, fondée sur un degré d'invalidité de 100 %, dès le 1er mars 2005. Dans le cadre d'une révision, initiée le 13 août 2008, l'office AI a demandé des renseignements au docteur B._, chirurgien orthopédiste au Service d'orthopédie et de traumatologie de l'Hôpital U._, qui a soigné l'assuré depuis le 20 févier 2007 et l'a opéré à de nombreuses reprises de 2007 à 2009. Dans un rapport du 12 janvier 2010, le docteur B._ a diagnostiqué, avec répercussion sur la capacité de travail, une fracture de jambe avec retard de consolidation malgré de multiples interventions. Il a estimé que l'activité antérieure n'était plus exigible mais que, dans une activité adaptée, la capacité de travail était entière. Le médecin a retenu les limitations fonctionnelles suivantes: travail en position assise ou alternée, sans marche en terrain irrégulier, dans les escaliers ou sur échafaudages, sans accroupissement ni agenouillement et sans port de charges. Le docteur T._ a diagnostiqué, avec répercussion sur la capacité de travail, un status après fracture ouverte du tibia gauche multi-opéré (S 82.2). Il a admis une incapacité totale de travail dans l'activité antérieure et une capacité de travail entière dans une activité adaptée respectant les limitations fonctionnelles (rapport du 6 juin 2010). Par projet de décision du 25 juin 2010, confirmé par décision du 6 septembre 2010, l'office AI a refusé le reclassement en raison de l'absence d'incapacité de travail. Statuant sur le droit à la rente, l'office a considéré que l'état de santé de l'assuré s'était amélioré et que les conditions d'une révision (art. 17 LPGA) étaient données (projet de décision du 21 octobre 2010). Pour procéder à la comparaison des revenus, il a fixé le revenu d'invalide sur la base de l'Enquête suisse sur la structure des salaires éditée par l'Office fédéral de la statistique (ESS 2008, TA1, valeur centrale, niveau de qualification 4, augmenté de l'adaptation salariale pour 2009) à 54'110 fr. 75). Le revenu valide a également été calculé sur la base de l'ESS, compte tenu d'une activité dans l'hôtellerie (secteur 55) et d'un niveau de qualification 3. L'office AI avait en effet estimé que, sans invalidité, l'assuré aurait quitté l'activité de man?uvre sur les chantiers souterrains après la fin du percement du tunnel O._ et qu'il aurait repris à son compte l'exploitation d'un restaurant-pizzeria, comme l'intéressé l'avait précisé dans ses déclarations. Ce projet de décision a été confirmé par une décision du 1er décembre 2010, laquelle prévoyait la suppression de la rente dès le 1er février 2011. B. L'assuré a déféré cette décision au Tribunal cantonal valaisan, Cour des assurances sociales, qui, par jugement du 3 janvier 2012, a rejeté le recours. C. A._ interjette un recours en matière de droit public contre ce jugement, dont il demande l'annulation. Il conclut, sous suite de frais et dépens, principalement, à l'octroi d'un quart de rente AI, basé sur un taux d'invalidité de 40 %, et, subsidiairement, au renvoi de la cause à l'office AI pour un nouveau calcul du revenu sans invalidité. L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.