Faits:
A. A.a Par décision du 16 avril 2008, l'Office de l'assurance-invalidité du canton de Berne (ci-après: l'office AI) a alloué, avec effet au 1er mai 2006, une rente entière d'invalidité à K._.
A l'époque, l'office AI s'était notamment fondé sur le rapport du 19 novembre 2007 du docteur T._, spécialiste FMH en psychiatrie et psychothérapie et médecin du Service médical régional de l'office AI du canton de Berne (SMR), selon lequel l'assuré souffrait des séquelles d'une chute sur son épaule gauche et de troubles psychiatriques entraînant une incapacité de travail de 100 %.
A.b En février 2009, l'office AI a entamé une révision du droit à la rente et soumis l'assuré à une expertise pluridisciplinaire auprès du docteur A._, spécialiste FMH en psychiatrie et psychothérapie, et du docteur H._, spécialiste FMH en rhumatologie. Ceux-ci ont retenu le 2 mars 2010 une capacité de travail à hauteur de 6,5 heures par jour dans une activité adaptée.
Par décision du 28 janvier 2011, l'office AI a supprimé le droit de K._ à sa rente d'invalidité à partir du 1er mars 2011.
B. L'assuré a déféré cette décision au Tribunal administratif du canton de Berne, Cour des affaires de langue française, qui l'a débouté par jugement du 11 novembre 2011.
C. K._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation ainsi que celle de la décision administrative, sous suite de frais et dépens.
Dans leurs déterminations, la juridiction cantonale et l'office AI proposent le rejet du recours, tandis que l'Office fédéral des assurances sociales renonce à se déterminer.

Considérant en droit:
1. Saisi d'un recours en matière de droit public (<ref-law>), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (<ref-law>) et statue sur la base des faits retenus par l'autorité précédente (<ref-law>). Il peut néanmoins rectifier ou compléter d'office l'état de fait du jugement entrepris si des lacunes ou des erreurs manifestes lui apparaissent aussitôt (<ref-law>). Il examine en principe seulement les griefs motivés (<ref-law>) et ne peut pas aller au-delà des conclusions des parties (<ref-law>). Le recourant ne peut critiquer la constatation des faits importants pour le sort de l'affaire que si ceux-ci ont été établis en violation du droit ou de façon manifestement inexacte (<ref-law>).
2. L'autorité judiciaire cantonale a nié que les conditions de la révision au sens de l'<ref-law> étaient réunies. En revanche, elle a reconnu que celles relatives à la reconsidération au sens de l'<ref-law> étaient remplies et confirmé la décision par laquelle la rente d'invalidité a été supprimée. Elle a ainsi procédé à une substitution de motifs.
2.1 Dans un premier moyen, le recourant invoque la violation de son droit d'être entendu, en ce sens que la juridiction cantonale ne lui a pas donné l'occasion de se prononcer sur la substitution de motifs à laquelle elle envisageait de procéder. D'ordre formel, ce grief doit être examiné en premier lieu, car son admission pourrait amener le tribunal à renvoyer la cause sans en examiner le fond (<ref-ruling> consid. 2.2 p. 197 et la référence).
2.2 Le juge cantonal peut confirmer une décision de révision rendue à tort pour le motif substitué que la décision de rente initiale était sans nul doute erronée et que sa rectification revêt une importance notable. S'il entend le faire, le juge doit alors donner à l'assuré la possibilité de s'exprimer, à peine de violer son droit d'être entendu garanti par l'art. 29 al. 2 Cst. Une violation du droit d'être entendu ne doit entraîner l'annulation de la décision attaquée que dans la mesure où la reconsidération éventuelle de la décision initiale d'octroi de la rente n'a jamais été évoquée au cours de la procédure et où, par conséquent, aucune des parties en présence ne s'en est prévalue et ne pouvait en supputer la pertinence dans le cas particulier (<ref-ruling> consid. 5b/bb p. 278 et les références; arrêts 9C_394/2008 du 12 février 2009 consid. 2.3; 9C_340/2008 du 29 août 2008 consid. 5). Le Tribunal fédéral ne saurait réparer une telle omission, compte tenu de son pouvoir d'examen restreint (<ref-ruling> consid. 2c p. 417; arrêt 8C_1027/2009 du 17 août 2010, in RSAS 2010 p. 514).
2.3 Dans le cas présent, il est vrai que la juridiction cantonale n'a pas formellement averti le recourant de la substitution de motifs envisagée. Il n'en demeure pas moins que la question de la reconsidération a été expressément évoquée par l'office AI dans ses observations du 7 avril 2011. L'autorité de première instance a par la suite donné l'occasion au recourant de répliquer, lequel y a explicitement renoncé par courrier du 12 mai 2011. Dans ses circonstances, celui-ci ne pouvait ignorer la possibilité pour les premiers juges d'envisager de fonder leur décision sur une norme ou un motif juridique autre que la révision, puisque l'intimé s'en était prévalu. Le recourant s'est toutefois abstenu de se déterminer sur ce point, bien qu'invité à le faire, de sorte qu'il ne saurait invoquer la violation de son droit d'être entendu.
3.
3.1 Au regard du jugement entrepris et des arguments développés devant le Tribunal fédéral, le litige porte uniquement sur la suppression, par la voie de la reconsidération, du droit à la rente du recourant.
3.2 Le jugement entrepris expose correctement les dispositions légales et la jurisprudence applicables en matière de reconsidération du droit à la rente. Il suffit d'y renvoyer.
Il convient toutefois d'ajouter que pour juger s'il est admissible de reconsidérer une décision pour le motif qu'elle est sans nul doute erronée, il faut se fonder sur les faits et la situation juridique existant au moment où cette décision a été rendue, compte tenu de la pratique en vigueur à l'époque (<ref-ruling> consid. 3 p. 389 et les références). Par le biais de la reconsidération, on corrigera une application initiale erronée du droit, de même qu'une constatation erronée résultant de l'appréciation des faits. Un changement de pratique ou de jurisprudence ne saurait en principe justifier une reconsidération (<ref-ruling> consid. 2c p. 17, 115 V 308 consid. 4a/cc p. 314). Pour des motifs de sécurité juridique, l'irrégularité doit être manifeste, de manière à éviter que la reconsidération devienne un instrument autorisant sans autre limitation un nouvel examen des conditions à la base des prestations de longue durée. En particulier, les organes d'application ne sauraient procéder en tout temps à une nouvelle appréciation de la situation après un examen plus approfondi des faits. Ainsi, une inexactitude manifeste ne saurait être admise lorsque l'octroi de la prestation dépend de conditions matérielles dont l'examen suppose un pouvoir d'appréciation, quant à certains de leurs aspects ou de leurs éléments, et que la décision initiale paraît admissible compte tenu de la situation antérieure de fait ou de droit. S'il subsiste des doutes raisonnables sur le caractère erroné de la décision initiale, les conditions de la reconsidération ne sont pas remplies (arrêts 9C_221/2008 du 14 janvier 2009 consid. 2.2, 9C_71/2008 du 14 mars 2008 consid. 2, 9C_575/2007 du 18 octobre 2007 consid. 2.2, I 907/06 du 7 mai 2007 consid. 3.2.1 et I 338/06 du 30 janvier 2007 consid. 3).
La question de savoir si une décision est manifestement erronée est une question de droit que le Tribunal fédéral examine sur la base des faits retenus par l'autorité cantonale et par lesquels il est en principe lié (arrêt 9C_187/2007 du 30 avril 2008 consid. 4.3; cf. consid. 1 supra).
4.
4.1 Les premiers juges ont constaté qu'à la date de la décision initiale du 16 avril 2008, l'état de santé du recourant avait nettement évolué par rapport à celui prévalant auparavant. Ils ont en effet constaté que le docteur T._ du SMR avait, d'une part, clairement formulé dans son rapport du 19 novembre 2007 la reconnaissance d'une invalidité totale, sous réserve d'un rapport actualisé du docteur R._, spécialiste FMH en psychiatrie et psychothérapie, et, d'autre part, proposé une révision à court terme en cas d'octroi de la rente, démontrant l'éventualité d'une amélioration rapide de l'état de santé. Ils ont aussi constaté que le docteur R._, dans son rapport du 21 novembre 2007, avait observé une évolution favorable de l'état de santé du recourant en mentionnant une diminution des hallucinations. Ils en ont donc conclu que l'office AI aurait dû poursuivre l'instruction médicale au lieu de reconnaître au recourant le droit à une rente entière d'invalidité. Partant, la décision initiale était selon eux manifestement erronée.
4.2 Pour sa part, le recourant reproche à la juridiction cantonale d'avoir admis le caractère manifestement erroné de la décision du 16 avril 2008. Il soutient que la décision s'appuyait sur un important dossier médical qui établissait les différentes affections dont il souffrait jusqu'au prononcé de celle-ci. Il fait aussi valoir que le médecin du SMR a renoncé à le soumettre à une expertise pluridisciplinaire au vu des avis médicaux recueillis jusqu'alors et que l'office AI a sciemment rendu sa décision nonobstant le rapport du 21 novembre 2007 du docteur R._. Il reproche encore à l'autorité judiciaire cantonale d'avoir fait preuve d'arbitraire lorsque, se fondant sur le rapport du médecin prénommé, elle a constaté que les conditions d'une reconsidération étaient données en raison d'une nette amélioration de son état de santé.
5.
5.1 Comme le relève le recourant, la décision du 16 avril 2008 a été rendue à la suite d'une instruction médicale complète. Cette dernière a notamment été menée auprès du docteur B._, médecin-chef de la clinique X._, et du docteur L._, spécialiste FMH en médecine interne, lesquels se sont exprimés à de nombreuses reprises. Le médecin du SMR a confirmé leurs avis dans son rapport du 19 novembre 2007 en retenant les diagnostics de status après arthroscopie de l'épaule gauche et acromioplastie du 23 janvier 2007, de syndrome douloureux lombospondylogène chronique et de syndrome douloureux vertébral intermittent avec suspicion d'une micro-instabilité L2-L4, malposition convexe droite de la colonne vertébrale thoracique et spondylose hyperostose des vertèbres thoraciques 6 à 11. Il a mentionné que ces praticiens exposaient de manière claire et détaillée la situation médicale et ajouté qu'il n'existait aucune franche amélioration malgré un traitement continu.
D'un point de vue psychiatrique, le docteur R._ a posé le 7 août 2007 le diagnostic d'épisode dépressif moyen à sévère (CIM-10; F32.1) avec tendance à la somatisation et à la dissociation et reconnu une incapacité totale de travail depuis le 19 juillet 2007. Le médecin du SMR a relevé dans son rapport du 19 novembre 2007 que l'avis de son confrère paraissait crédible, confirmant par-là implicitement l'incapacité de travail retenue.
En conclusion, le médecin du SMR a proposé l'examen du droit à la rente en recommandant sa révision dans un an au vu de l'état psychique non stabilisé du recourant et demandé qu'un nouveau rapport soit requis auprès du docteur R._. Il n'a en revanche, et de manière implicite, pas jugé nécessaire la mise en ?uvre d'une expertise pluridisciplinaire.
Dans son rapport du 21 novembre 2007, le docteur R._ a, d'une part, fait état d'une amélioration de l'état de santé du recourant à la suite d'un traitement médicamenteux, en ce sens que ses hallucinations ont légèrement diminué, cependant sans rémission complète de la symptomatique psycho-dépressive, et, d'autre part, confirmé une incapacité totale de travail depuis le 19 juillet 2007.
5.2 Compte tenu de ces constatations médicales, la juridiction cantonale a violé le droit en considérant que les conditions de la reconsidération étaient remplies. En effet, le médecin du SMR avait confirmé les nombreux avis médicaux antérieurs et notamment l'incapacité totale de travail du point de vue psychiatrique retenue par le docteur R._. Bien que ce dernier observât une diminution des hallucinations du recourant dans son rapport du 21 novembre 2007, celle-ci n'avait toutefois été que légère selon ses propres termes ("leicht zurückgebildet"). Il a par ailleurs maintenu l'incapacité totale de travail précédemment posée. Il n'existait donc aucun indice permettant à l'office AI de douter d'une modification de l'incapacité de travail du recourant lorsqu'elle a rendu sa décision le 16 avril 2008. L'office AI n'avait pas non plus à compléter l'instruction médicale qui avait été complète et fiable, vu que le docteur R._ n'avait pas constaté de modification significative de l'état de santé du recourant. Les premiers juges ont donc estimé à tort que cette décision était manifestement erronée.
5.3 Le recours se révèle donc bien fondé et le jugement entrepris, ainsi que la décision du 28 janvier 2011 doivent être annulés.
6. Vu l'issue du litige, les frais de justice seront supportés par l'intimé (art. 66 al. 1 en relation avec l'<ref-law>). Le recourant, qui obtient gain de cause, a droit à une indemnité de dépens pour l'ensemble de la procédure à la charge de l'intimé (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis. Le jugement du Tribunal administratif du canton de Berne, Cour des affaires de langue française, du 11 novembre 2011 et la décision de l'Office de l'assurance-invalidité du canton de Berne du 28 janvier 2011 sont annulés.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimé.
3. L'intimé versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. La cause est renvoyée au Tribunal administratif du canton de Berne, Cour des affaires de langue française, pour nouvelle décision sur les frais et les dépens de la procédure antérieure.
5. Le présent arrêt est communiqué aux parties, au Tribunal administratif du canton de Berne, Cour des affaires de langue française, et à l'Office fédéral des assurances sociales.
Lucerne, le 1er juin 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Hichri