Faits:
A. Par décision du 17 mars 2011, l'Office de l'assurance-invalidité du canton du Jura (ci-après: l'office AI) a nié le droit à toute prestation à S._.
L'office AI s'est notamment fondé sur le rapport d'expertise du docteur E._, spécialiste FMH en psychiatrie et psychothérapie, du 28 juin 2010, qu'il avait mandaté pour examiner l'assuré. Il s'est également référé à l'avis du 1er mars 2011 du docteur L._ du Service médical régional de l'assurance-invalidité (SMR). Il en a déduit que les troubles psychiques présentés par l'assuré n'entraînaient aucune incapacité de travail.
B. L'assuré a déféré cette décision au Tribunal cantonal de la République et canton du Jura, Cour des assurances, qui l'a débouté par jugement du 23 novembre 2011.
C. S._ interjette un recours en matière de droit public contre ce jugement dont il requiert l'annulation. Sous suite de frais et dépens, il conclut principalement à ce que l'office AI soit condamné à lui verser "les prestations légales découlant de la LAI" et, subsidiairement, au renvoi du dossier à l'office AI pour complément d'instruction sous la forme d'une expertise médicale.
Le Tribunal fédéral a renoncé à ordonner un échange d'écritures.

Considérant en droit:
1. Saisi d'un recours en matière de droit public (art. 82 ss LTF), le Tribunal fédéral exerce un pouvoir d'examen limité. Il applique le droit d'office (art. 106 al. 1 LTF) et statue sur la base des faits retenus par l'autorité précédente (art. 105 al. 1 LTF). Il peut néanmoins rectifier ou compléter d'office l'état de fait du jugement entrepris si des lacunes ou des erreurs manifestes lui apparaissent aussitôt (art. 105 al. 2 LTF). Il examine en principe seulement les griefs motivés (art. 42 al. 2 LTF) et ne peut pas aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Le recourant ne peut critiquer la constatation des faits importants pour le sort de l'affaire que si ceux-ci ont été établis en violation du droit ou de façon manifestement inexacte (art. 97 al. 1 LTF).
2. Le litige porte sur le droit du recourant à des prestations de l'assurance-invalidité et plus précisément sur sa capacité de travail.
Le jugement entrepris expose correctement les dispositions légales et la jurisprudence applicables à la notion d'invalidité et en matière d'appréciation des preuves. Il suffit d'y renvoyer.
3. La juridiction cantonale a considéré que le rapport d'expertise du docteur E._ du 28 juin 2010, qui avait conclu à une capacité totale de travail de l'assuré, répondait aux exigences jurisprudentielles (à ce sujet <ref-ruling>). L'expert avait examiné le patient, considéré ses plaintes, pris connaissance des avis émis par les différents médecins qui avaient été appelés à s'en occuper, établi l'anamnèse, étudié le dossier médical et posé un diagnostic, de sorte que son rapport avait valeur probante, indépendamment de la durée de l'examen et du nombre de lignes contenues dans le rapport en relation avec les plaintes de l'assuré.
Les premiers juges ont aussi constaté que les autres médecins consultés avaient reconnu chez l'assuré l'existence d'un trouble de l'adaptation avec réaction mixte anxio-dépressive, respectivement d'un trouble dépressif, mais que leurs avis avaient divergé au sujet du caractère invalidant de cette symptomatologie; à l'exception du docteur C._, spécialiste FMH en psychiatrie et psychothérapie, qui ne s'était pas prononcé, ces médecins avaient considéré que le recourant disposait encore d'une certaine capacité de travail dans une activité adaptée, de sorte que leurs avis n'étaient pas de nature à mettre en doute les conclusions de l'expert. L'autorité juridictionnelle cantonale a donc suivi l'avis du docteur E._ et conclu que la capacité de travail de l'assuré n'était pas amoindrie.
4. Dans un premier grief, le recourant remet en cause la valeur probante de l'expertise médicale du docteur E._ du 28 juin 2010.
4.1 Le recourant affirme tout d'abord que les plaintes qu'il a exprimées devant l'expert n'ont été retranscrites que succinctement par celui-ci, malgré l'extrême importance qu'ont ces indications dans une expertise psychiatrique, invoquant à cet égard l'arrêt 9C_203/2011 du 22 novembre 2011 consid. 4.3. En l'espèce, le rapport d'expertise contient six lignes à ce sujet dans lesquelles l'expert a rapporté, entre autres éléments, un sentiment d'injustice à la suite du licenciement de l'assuré en février 2009, des angoisses nocturnes, une fatigue et des préoccupations en relation avec la santé de l'épouse. Il ne saurait donc être reproché à l'expert de ne pas avoir exposé les plaintes de l'assuré, ce d'autant moins que ce dernier n'explique pas quel élément aurait été omis. Par ailleurs, l'arrêt qu'il invoque ne lui est d'aucun secours. Dans celui-ci, le Tribunal fédéral avait rappelé qu'une évaluation psychiatrique comportait une importante marge d'appréciation pour l'exercice de laquelle les impressions directes que se faisait l'expert de la personne soumise à l'examen psychiatrique étaient essentielles, de sorte que ce dernier devait en principe être effectué sur la base d'une consultation médicale et qu'aucun psychiatre ne pouvait "valider" l'avis d'un collègue sans avoir examiné lui-même l'assuré. Or, dans le cas présent, l'expert s'est entretenu personnellement avec le recourant.
S'appuyant sur les avis médicaux du docteur I._, spécialiste FMH en médecine interne, et médecin-traitant, des 10 août et 23 octobre 2010, le recourant avance encore que les conclusions de l'expert ne tenaient pas compte de sa situation conjugale dramatique et qu'un entretien d'une heure n'avait pas permis de refléter sa situation psychique globale et changeante. Ces griefs sont infondés. Le recourant perd en effet de vue que l'expert a expressément mentionné et pris en considération le contexte familial difficile actuel, à savoir que l'épouse se déplaçait en chaise roulante en raison d'une maladie dégénérative et que l'assuré s'était fait licencier en février 2009. Quant au temps consacré pour l'entretien, il y a lieu de rappeler que la durée d'un examen n'est pas un critère permettant en soi de juger de la valeur probante d'un rapport médical (arrêt 9C_382/2008 du 22 juillet 2008 consid. 2 et l'arrêt cité).
4.2 Le recourant reproche ensuite à l'expert d'avoir omis de décrire le résultat des tests effectués. Cet argument est infondé. En effet, le médecin a observé la présence de signes anxieux d'un degré moyen et dépressifs d'un degré plutôt léger ainsi que des mécanismes de défense psychologiques sous forme d'agression passive et de projection. Il a ensuite expliqué ces notions, l'origine de la personnalité dépendante et les répercussions sur le comportement de l'assuré; la constellation familiale durant l'enfance de celui-ci avait vraisemblablement favorisé le développement d'une personnalité dépendante, l'assuré ayant besoin d'être rassuré et supportant mal les séparations. Ces dernières avaient ainsi entraîné, d'une part, un épisode dépressif avec 3 semaines d'incapacité de travail en 2002 après le décès du beau-père qui représentait une figure paternelle et, d'autre part, un trouble de l'adaptation avec réaction mixte anxieuse et dépressive avec prise en charge psychiatrique à la suite d'un licenciement en février 2009. L'expert ne s'est donc pas limité à formuler des considérations théoriques comme le soulève le recourant. Au demeurant, dans le cadre d'un examen psychiatrique, les procédés d'évaluation schématiques n'ont qu'une fonction complémentaire et ne peuvent se substituer à l'examen clinique, avec anamnèse, description des symptômes et observation du comportement de l'assuré (arrêt du Tribunal fédéral I 391/06 du 9 août 2006 consid. 3.2.2). Ils ne sauraient donc revêtir une importance déterminante quant à l'évaluation de l'état psychiatrique d'un assuré.
Ensuite, et contrairement à ce soutient le recourant, l'expert a indiqué les raisons pour lesquelles il n'y avait pas de signes ou de symptômes d'un trouble dépressif récurrent d'une gravité telle qu'elle pourrait justifier une incapacité de travail. En effet, le médecin a constaté que la tristesse fluctuante avec une humeur légèrement dépressive n'était pas accompagnée d'idées noires, d'envies suicidaires ou de signes ou symptômes d'un ralentissement psychomoteur. Il n'a pas non plus remarqué d'autres aspects tels une euphorie, un stress post-traumatique à la suite d'un accident survenu le 10 juillet 2006, des signes ou symptômes parlant en faveur d'une claustrophobie, d'une agoraphobie ou d'une phobie sociale. Il a également nié l'existence d'un trouble psychotique. Le recourant perd ainsi de vue que l'expert a écarté nombre d'aspects parlant en faveur d'une dépression.
Le recourant affirme encore que les conclusions du rapport d'expertise sont douteuses, dès lors qu'il contient une contradiction entre les observations faites et le diagnostic posé. Or, l'expert a observé des troubles de la concentration et de la mémoire de fixation et diagnostiqué des troubles de l'adaptation, réaction mixte anxieuse et dépressive, secondaire au licenciement en février 2009 et aux problèmes du conjoint (F43.22) ainsi qu'une personnalité dépendante (F60.7). Il a retenu toutes ces affections en estimant qu'elles n'entraînaient aucune incapacité de travail. Les conclusions sont donc claires, contrairement à ce que le recourant tend à faire croire.
4.3 Vu ce qui précède, la juridiction cantonale a considéré à juste titre que le rapport d'expertise avait valeur probante. Le grief encore invoqué par le recourant selon lequel un rapport psychiatrique dépourvu de valeur probante ne peut être avalisé par un médecin du SMR sans consultation médicale devient donc sans objet et n'a pas à être examiné.
5. Dans un deuxième grief, le recourant reproche aux premiers juges d'être tombés dans l'arbitraire, dès lors qu'ils se sont exclusivement fondés sur le rapport d'expertise en ignorant tous les autres rapports médicaux sans motifs pertinents.
A cet égard, le Tribunal fédéral n'examine le résultat de l'appréciation des preuves à laquelle a procédé l'autorité cantonale de recours que sous l'angle restreint de l'arbitraire. L'appréciation des preuves est arbitraire lorsque l'autorité ne prend pas en compte, sans raison sérieuse, un élément de preuve propre à modifier la décision, lorsqu'elle se trompe manifestement sur son sens et sa portée, ou encore lorsque, en se fondant sur les éléments recueillis, elle en tire des constatations insoutenables (<ref-ruling> consid. 2.1 p. 9; arrêt du Tribunal fédéral 1B_149/2011 du 4 mai 2011 consid. 4.1, non publié in <ref-ruling>; arrêt du Tribunal fédéral 4A_189/2011 du 4 juillet 2011 consid. 2, non publié in <ref-ruling>).
5.1 La juridiction cantonale a constaté que l'ensemble du corps médical consulté avait reconnu la reprise d'une activité comme possible, certes à différents degrés, et que le dernier avis recueilli, soit celui du psychiatre de l'Hôpital X._, allait en faveur d'une reprise d'activité à 50 % dès le 22 novembre 2010 avec une augmentation progressive, en dépit de nouvelles périodes d'incapacités de travail sporadiques. Au vu de cette situation, les premiers juges ont écarté les avis médicaux selon lesquels l'assuré disposait d'une capacité de travail diminuée pour se fonder sur le rapport d'expertise du docteur E._ qui reconnaissait une capacité totale de travail.
5.2 Le recourant n'expose pas en quoi cette appréciation serait manifestement insoutenable mais substitue son propre point de vue à celui de l'autorité juridictionnelle de première instance. Il se limite en effet à énoncer les capacités de travail retenues par les médecins pour en conclure que celle déterminée par l'expert ne pouvait avoir la préférence de la juridiction cantonale. Le recourant invoque également en vain la perplexité du docteur I._ quant aux conclusions de l'expert. Selon la jurisprudence, une évaluation médicale complète et approfondie telle que l'expertise critiquée ne saurait être remise en cause au seul motif qu'un ou plusieurs médecins ont une opinion divergente. Il ne peut en aller différemment que si lesdits médecins font état d'éléments objectivement vérifiables ayant été ignorés dans le cadre de l'expertise et suffisamment pertinents pour en remettre en cause les conclusions (arrêt 9C_238/2010 du 10 septembre 2010). Tel n'est pas le cas en l'espèce, puisque le docteur I._ a uniquement fait part d'une simple impression sans explications basées sur des éléments objectifs concrets. Le recourant ne saurait non plus se prévaloir du fait que les mesures de réadaptation dont il a bénéficié n'ont donné aucun résultat, dès lors que les données médicales l'emportent sur les constatations qui peuvent être faites à l'occasion d'un stage d'observation professionnelle, ces dernières étant susceptibles d'être influencées par des éléments subjectifs liés au comportement de l'assuré pendant le stage (<ref-ruling> consid. 4; arrêts 9C_631/2007 du 4 juillet 2008 consid. 4. 1 et I 573/04 du 10 novembre 2005 consid. 4).
Vu ce qui précède, le grief tiré de l'arbitraire est mal fondé.
6. Le recourant invoque enfin la violation par les juges cantonaux de la maxime inquisitoire prévue à l'art. 43 LPGA lorsqu'ils ont refusé d'ordonner une instruction médicale complémentaire. Ce moyen est également infondé. En effet, selon la jurisprudence relative à l'appréciation anticipée des preuves, lorsque l'administration ou le juge, se fondant sur une appréciation consciencieuse des preuves fournies par les investigations auxquelles ils doivent procéder d'office, sont convaincus que certains faits présentent un degré de vraisemblance prépondérante et que d'autres mesures probatoires ne pourraient plus modifier cette appréciation, il est superflu d'administrer d'autres preuves (<ref-ruling> consid. 5.3 p. 236; <ref-ruling> consid. 4b p. 94; <ref-ruling> consid. 1d p. 162). En l'espèce, après avoir apprécié les nombreux rapports médicaux recueillis par l'office AI, les juges cantonaux se sont fondés sur l'avis probant du docteur E._ (cf. consid. 4.3 et 5 supra). Il existait en conséquence suffisamment de rapports pour leur permettre de se forger une opinion quant à la situation médicale du recourant. Ils n'ont donc pas violé le droit en refusant d'ordonner une expertise complémentaire.
Le recourant cite encore le rapport de gestion 2009 du Tribunal fédéral concernant les disfonctionnements institutionnels et organisationnels constatés dans l'instruction médicale en matière d'assurance-invalidité. Il n'en tire pour autant aucun grief. Ce point n'a donc pas à être examiné plus en avant.
7. Il suit de ce qui précède que le Tribunal fédéral n'a pas à s'écarter de l'appréciation des premiers juges quant à la capacité de travail du recourant et à l'absence d'invalidité. Le recours est donc mal fondé.
8. Vu l'issue du litige, les frais de la procédure sont mis à la charge du recourant (art. 66 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton du Jura, Cour des assurances, et à l'Office fédéral des assurances sociales.
Lucerne, le 20 juin 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Hichri