Faits:
A. A.a O._, né en 1965, a travaillé en qualité de man?uvre dans le secteur de la construction. Victime d'un accident professionnel le 21 juin 1993, il a requis le 24 février 1994 des prestations de l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI) en raison d'un syndrome vertébral lombaire post-traumatique aigu sur hernie discale L5-S1 postero-latérale droite.
Dans le cadre de l'instruction de la demande, l'office AI a recueilli l'avis du docteur R._, spécialiste FMH en chirurgie orthopédique et médecin traitant. Celui-ci a indiqué que l'intéressé était totalement incapable d'exercer son activité habituelle mais pouvait accomplir une activité plus légère ne nécessitant ni efforts ni port de charges (rapport du 17 juin 1994). L'administration a confié la réalisation d'une expertise au docteur S._, spécialiste FMH en médecine interne et en médecine du travail, qui a conclu à l'existence d'une capacité de travail entière dans une activité ne demandant pas un effort physique trop important et permettant de fréquents changements de positions. L'expert préconisait en outre une mesure d'observation professionnelle (rapport du 2 septembre 1994). Un stage effectué par l'assuré du 14 août au 13 novembre 1995 auprès du Centre X._ a mis en évidence une pleine capacité de travail dans une activité évitant le port de charges et permettant d'alterner les positions (rapport du 10 novembre 1995). Interpellé par l'administration, le docteur R._ a signalé que l'état du patient allait en s'aggravant après la survenance d'une décompensation douloureuse; il a considéré que l'incapacité de travail était totale (rapport du 7 février 1997). Après entretiens avec l'assuré, la Division de réadaptation professionnelle a proposé de ne retenir au titre de l'exigibilité qu'une activité adaptée en atelier protégé, l'état psychique de l'assuré paraissant extrêmement inquiétant (rapport du 7 avril 1997).
Par décision du 23 septembre 1997, l'office AI a reconnu le droit de O._ à une rente entière d'invalidité à partir du 1er juin 1994, prestation fondée sur une perte de gain de 80%.
A.b Dans le cadre d'une procédure de révision ouverte en 2004, le docteur R._ a indiqué à l'office AI que l'état de santé de l'assuré n'avait pas subi de changement depuis 1994 (rapport du 13 juillet 2004). L'administration a alors informé O._ que son droit à la rente n'était pas modifié (communication du 16 juillet 2004).
A.c Ayant initié une nouvelle procédure de révision, l'office AI a sollicité le docteur K._, spécialiste FMH en médecine pratique et médecin traitant, lequel a déclaré que l'état de santé de O._ était stationnaire depuis 2004 et que la capacité de travail était nulle dans toute activité (rapport du 16 octobre 2009). Sur la base de ces éléments, l'administration a mandaté Y._. Les docteurs G._ et B._, spécialistes FMH en rhumatologie et en médecine interne, ainsi que Z._, spécialiste FMH en psychiatrie et psychothérapie, ont constaté des discordances entre les plaintes de l'assuré et les éléments somatiques objectifs ainsi qu'un phénomène d'amplification évident: l'intéressé, qui affirmait souffrir de douleurs nécessitant un repos permanent, n'avait présenté aucune limitation de l'appareil locomoteur lors de l'observation et la musculature de ses membres inférieurs était bien développée, avec des callosités plantaires marquées; en outre, il ne consultait plus pour le dos et n'avait plus suivi de traitement spécifique de physiothérapie depuis de nombreuses années. Ces éléments étaient selon les experts des signes d'une amélioration de l'état de l'appareil locomoteur et ils ont considéré que la capacité de travail était entière dans toute activité ne nécessitant pas de manière répétée le port de charges supérieures à 30 kilogrammes (rapport du 3 septembre 2010). Sur la base d'un avis de la doctoresse H._, de son Service médical régional (rapport du 25 novembre 2010), entérinant les conclusions des experts, l'office AI a considéré que l'état de santé de l'assuré s'était amélioré et l'a informé le 7 mars 2011 qu'il envisageait de supprimer sa rente d'invalidité.
O._ s'étant opposé à ce projet de décision, l'administration a sollicité le docteur L._, spécialiste FMH en psychiatrie et psychothérapie d'enfants et d'adolescents et médecin traitant, lequel a considéré que la capacité de travail dans l'activité habituelle, actuellement nulle, pourrait être améliorée et atteindre 50% en 2012 (rapport du 30 avril 2011). De son côté, l'assuré a transmis le 26 mai 2011 à l'office AI un complément apporté par le docteur K._ au rapport du docteur L._.
Par décision du 26 septembre 2011, l'office AI a confirmé sa position et supprimé le droit de l'assuré à une rente d'invalidité dès le premier jour du 2ème mois suivant la notification de la décision.
B. La Cour de justice de la République et canton de Genève, Chambre des assurances sociales, a rejeté par jugement du 31 janvier 2012 le recours formé par l'assuré contre cette décision.
C. O._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut au maintien de sa rente entière d'invalidité, subsidiairement au renvoi de la cause à la Cour de justice de la République et canton de Genève pour nouvelle décision après mise en ?uvre d'une expertise ou, éventuellement, pour nouvelle décision dans le sens des considérants.
L'office AI conclut au rejet du recours tandis que l'Office fédéral des assurances sociales a renoncé à se déterminer.
L'assuré a déposé deux écritures complémentaires, les 20 avril et 3 août 2012 (date du timbre postal).

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte sur la suppression du droit du recourant à sa rente entière d'invalidité. La juridiction cantonale a exposé correctement la disposition légale sur la reconsidération (<ref-law>) et les principes jurisprudentiels s'appliquant à cette matière. Il suffit d'y renvoyer.
3. 3.1 L'instance cantonale a considéré que les expertises du docteur S._ et des médecins de Y._ revêtaient pleine valeur probante et n'étaient pas remises en cause par les avis des docteurs K._, L._ et R._. Il ressortait des rapports établis en 1994 par ce dernier, respectivement par le docteur S._, ainsi que de celui rédigé par les spécialistes en réadaptation du Centre X._, que le recourant disposait d'une capacité de travail entière. Il y avait lieu de ne tenir compte ni de l'aggravation des douleurs ni de l'apparition d'une spondylolyse dont avait fait état le docteur R._ en 1997 puisque ces atteintes n'avaient pas été observées par les experts de Y._. Dès lors, c'est à tort que l'intimé avait constaté dans sa décision de 1997 que le recourant présentait une incapacité de travail totale. En outre, celle-ci ne se fondait pas sur un calcul du taux d'invalidité conforme aux dispositions légales puisqu'elle ne contenait aucun élément indiquant comment l'intimé était parvenu à un taux de 80%. La décision était donc manifestement erronée, si bien que les conditions de la reconsidération étaient réunies; il n'y avait donc pas lieu d'examiner la situation sous l'angle de la révision. Compte tenu d'une pleine capacité de travail dans une activité simple et répétitive, le degré d'invalidité s'élevait à 21.6%, insuffisant pour ouvrir le droit à une rente.
3.2 Le recourant reproche d'abord aux premiers juges d'avoir procédé à une constatation manifestement inexacte des faits pertinents consécutive à une mauvaise appréciation des preuves en se fondant sur les conclusions des experts et non sur celles des docteurs R._, K._ et L._. Il affirme ensuite qu'au regard des constatations de ces derniers et de l'ensemble des éléments médicaux figurant alors au dossier, la situation existant au moment de la décision d'octroi de la rente entière laisserait apparaître celle-ci comme parfaitement soutenable. Enfin, compte tenu des divergences d'opinion entre ses médecins traitants et les experts quant à sa capacité de travail, les premiers juges auraient dû, à tout le moins, ordonner une expertise; en renonçant à cette mesure d'instruction, ils auraient violé son droit d'être entendu.
4. 4.1 Le raisonnement tenu par l'instance cantonale ne saurait être suivi. Pour juger, dans le cadre d'une reconsidération, si une décision est sans nul doute erronée ce sont les faits et la situation juridique existant au moment où cette décision a été rendue qui sont déterminants (<ref-ruling> consid. 3 p. 389; arrêt 9C_74/2008 du 17 juillet 2008 consid. 2). Les premiers juges auraient dès lors dû tenir compte de l'état de santé que présentait le recourant en septembre 1997 et non se fonder essentiellement sur les avis exprimés en 1994 par les docteurs R._ et S._, respectivement en 1995 par les spécialistes du Centre X._. Or, dans le courant de l'année 1997, le docteur R._ a retenu que le recourant était en incapacité totale de travailler à la suite d'une aggravation de ses douleurs tandis que les collaborateurs de l'intimé ont estimé que l'état psychique de l'intéressé était extrêmement inquiétant. Dans ces conditions, la décision initiale d'octroi de la rente du 23 septembre 1997 n'apparaît pas manifestement erronée. Le fait que l'aggravation en question n'a pas été confirmée par les experts de Y._ n'y change rien. En effet, s'il apparaît ultérieurement, à la suite d'un examen plus minutieux de la situation, que l'instruction ou l'appréciation médicale du cas avait été faite d'une manière qui peut aujourd'hui sembler critiquable, cela ne rend pas pour autant la décision prise sur cette base manifestement erronée au regard de la situation de fait et de droit de l'époque (cf. arrêts 9C_659/2009 du 12 février 2010 consid. 3.3 et 9C_659/2008 du 31 octobre 2008 consid. 4). En outre, si le calcul explicite du taux d'invalidité retenu à l'époque, de 80%, ne figure pas au dossier, il ressort cependant de celui-ci que l'administration s'est basée sur le salaire moyen en atelier protégé en vigueur en 1997. A lui seul cet élément ne peut ouvrir la voie de la reconsidération de la décision du 23 septembre 1997. Il s'ensuit que les conditions d'une reconsidération de cet acte ne sont pas réalisées et que le jugement entrepris est sur ce point contraire au droit fédéral.
4.2 Ayant retenu que les conditions de la reconsidération étaient remplies, les premiers juges ont considéré qu'il était superflu d'examiner s'il existait un motif de révision, ainsi que le soutenait l'administration. La cause doit dès lors leur être renvoyée pour qu'ils examinent si, entre septembre 1997 et septembre 2011, la capacité de travail du recourant et partant, son degré d'invalidité, s'est modifié d'une manière déterminante sous l'angle de la révision, car au vu des éléments du dossier, particulièrement de la discussion et des conclusions des experts de Y._ au plan somatique, une modification de l'état de santé de l'intéressé ne peut d'emblée être exclue.
Au regard de ce qui précède, le recours est bien fondé.
5. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge de l'intimé, qui succombe (<ref-law>), et qui versera au recourant une indemnité de dépens pour l'instance fédérale (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 31 janvier 2012 est annulé. La cause est renvoyée à la juridiction cantonale pour nouveau jugement au sens des considérants.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'Office de l'assurance-invalidité du canton de Genève versera au recourant la somme de 2'800 fr. à titre de dépens pour la procédure de dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 3 septembre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Bouverat