Faits:
A. A.a A._, né en 1962, a travaillé comme man?uvre maçon. Le 29 janvier 1992, il a été victime d'un accident. La CNA a pris le cas en charge et lui a reconnu le droit à une rente d'invalidité de 30 % à compter du 1er novembre 1995 (décision du 9 novembre 1995). De son côté, l'Office de l'assurance-invalidité (ci-après: l'office AI), auprès duquel A._ s'était annoncé le 6 juillet 1993, lui a alloué une rente entière d'invalidité du 1er janvier au 30 septembre 1993, ainsi que du 1er février 1994 au 30 octobre 1995, et une demi-rente pour le mois d'octobre 1995 (décision du 2 octobre 1997). Par la suite, il lui a accordé une mesure de réadaptation, sous la forme d'un reclassement professionnel, laquelle s'est étendue du 1er août 1998 au 31 janvier 1999 (décision du 11 février 1999).
Le 28 avril 2003, A._ a déposé une nouvelle demande, en raison d'une hernie discale et de lombalgies chroniques, que l'administration a rejetée par décision sur opposition du 18 janvier 2005, confirmée par jugement du Tribunal administratif de la République et canton de Neuchâtel du 25 novembre 2005.
Du 6 février au 3 mars 2006, l'assuré a effectué un séjour à l'hôpital psychiatrique X._ (rapport des doctoresses C._, spécialiste FMH en psychiatrie et psychothérapie, et S._ du 6 mars 2006). A la fin de l'année 2006, il a subi une cure chirurgicale d'une fistule para-anale gauche (rapport du docteur M._, spécialiste FMH en médecine interne et en gastroentérologie, du 20 septembre 2007).
A.b Le 11 janvier 2008, A._ a déposé une nouvelle demande auprès de l'office AI, se plaignant d'une hernie discale lombaire, d'un état dépressif et de douleurs chroniques. Il a transmis à l'office AI des documents médicaux émanant des docteurs B._, spécialiste FMH en médecine interne et rhumatologie ainsi qu'en médecine psychosomatique et psychosociale (rapport du 8 février 2008), H._, spécialiste FMH en médecine physique et réadaptation et en rhumatologie (rapport du 11 février 2008), V._, spécialiste FMH en pneumologie et en médecine interne générale (rapport du 4 mars 2008), et U._, spécialiste FMH en médecine générale et médecin traitant (rapport du 14 mars 2008). Ce dernier a conclu à une incapacité de travail totale, en précisant cependant qu'une expertise pluridisciplinaire lui paraissait indispensable, avis qu'il a confirmé après avoir été interpellé par l'office AI (rapport du 2 septembre 2008). L'administration a chargé le centre d'expertise médicale de Genève (ci-après: le CEM) d'une telle expertise (rapports des docteurs K._, spécialiste FMH en médecine interne générale, O._, spécialiste FMH en médecine physique et réadaptation et en rhumatologie, E._, spécialiste FMH en psychiatrie et psychothérapie, et R._ des 2 mars et 21 avril 2009).
Par décision du 13 janvier 2010, l'office AI a octroyé à A._ une demi-rente à compter du 1er septembre 2008.
B. L'assuré a déféré cette décision au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, devant lequel il a produit un rapport du docteur U._ du 28 janvier 2009 (recte: 2010). Il a été débouté par jugement du 21 décembre 2011.
C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut essentiellement à l'octroi d'une rente entière d'invalidité à compter du 1er septembre 2008, éventuellement au renvoi du dossier au Tribunal cantonal pour instruction complémentaire et nouveau jugement.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (<ref-law>), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Il n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'<ref-law>, et ne peut aller au-delà des conclusions des parties (<ref-law>). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (<ref-law>) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'<ref-law> (<ref-law>). La partie recourante qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'<ref-law> sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. Le litige porte sur le droit à la fraction de rente (rente entière, trois quarts de rente, ou demi-rente) à laquelle peut prétendre le recourant depuis le 1er septembre 2008, singulièrement sur le taux d'invalidité à la base de cette prestation. Le jugement entrepris expose correctement les dispositions topiques applicables au cas d'espèce, notamment les règles jurisprudentielles sur la valeur probante des pièces médicales, si bien qu'il suffit d'y renvoyer.
3. 3.1 L'instance cantonale a retenu une capacité de travail de 50 % qui correspondait selon elle aux conclusions des experts et conduisait à un taux d'invalidité de 58 %. Les autres pièces médicales figurant au dossier n'étaient pas à même de remettre en question l'avis des médecins du CEM. Le docteur U._ n'apportait en effet aucun élément nouveau par rapport aux constatations des experts, ne démontrait pas en quoi les atteintes dont il faisait état revêtaient un caractère invalidant et ses rapports étaient trop succincts pour bénéficier d'une pleine valeur probante. Cette dernière critique valait également pour les rapports des docteurs C._/S._, M._, B._, H._ et V._; au surplus ceux-ci ne s'étaient pas prononcés sur la capacité résiduelle de travail de l'intéressé et les diagnostics qu'ils avaient posés ne se recoupaient que partiellement.
3.2 Le recourant reproche aux premiers juges d'avoir procédé à une constatation manifestement inexacte des faits pertinents consécutive à une mauvaise appréciation des preuves. C'est à tort que ceux-ci se seraient fondés sur l'opinion des experts - dont les rapports seraient entachés de contradictions, s'agissant en particulier de sa capacité résiduelle de travail -, au détriment d'autres pièces médicales dont il ressortirait clairement une incapacité de travail totale à compter de décembre 2007; l'instance cantonale aurait en outre établi son taux d'invalidité de manière erronée à la suite d'une mauvaise interprétation des conclusions des médecins du CEM; en tout état de cause, celui-ci s'élèverait à plus de 70 % compte tenu du cumul de ses affections psychiques et physiques. Dès lors, les premiers juges auraient dû lui octroyer une rente entière d'invalidité ou, à tout le moins, ordonner une expertise complémentaire.
3.3 Après avoir examiné les conséquences de chacune des atteintes à la santé physique du recourant (lombosciatalgies gauches, capsulite de l'épaule droite et autres douleurs ostéo-articulaires diffuses), les docteurs K._, O._ et R._ ont retenu, du point de vue somatique, une capacité de travail complète dans une activité adaptée, avec une diminution de rendement de 15 à 20 %. De son côté, la doctoresse E._ a conclu sur le plan psychique à l'exigibilité d'une activité à 50 % en admettant qu'une amélioration de la situation était envisageable. Au terme d'une conférence de consensus, les experts, procédant à une évaluation globale de la situation du recourant, ont estimé que sa capacité de travail était de 5 heures par jour moyennant une baisse de rendement de 10 à 15 %; ces conclusions tenaient compte d'un cumul d'atteintes qui s'influençaient mutuellement de façon négative, soit un syndrome d'apnées du sommeil avec un traitement peu satisfaisant, des douleurs constantes en rapport avec une capsulite rétractile, un trouble dégénératif du rachis lombaire aggravé par une obésité sévère, une généralisation vers un syndrome douloureux somatoforme persistant et un trouble anxiodépressif chronicisé (rapport du 2 mars 2009, p. 13). Il apparaît ainsi que les experts se sont fondés sur l'ensemble des affections du recourant, dont les répercussions sur la capacité de travail ont été dûment analysées, isolément puis conjointement. Les conclusions de ces spécialistes sont claires, convaincantes et bien motivées; contrairement au grief du recourant, on ne saurait reprocher aux experts de s'être contredits en retenant, toutes atteintes à la santé confondues, une diminution de rendement de 10 à 15 % pour une capacité de travail de 5 heures par jour, alors qu'au seul plan somatique ils l'avaient évaluée de 15 à 20 % mais pour une capacité de travail totale. Les conclusions des experts ne sauraient être remises en cause par les autres documents médicaux figurant au dossier. Ceux-ci ne contiennent en effet pour la plupart aucune indication sur la capacité résiduelle de travail de l'intéressé dans une activité adaptée. Au surplus, ils font essentiellement part d'éléments retenus par les experts; ainsi les docteurs B._ et H._ ont diagnostiqué une hernie discale (rapports des 8 et 11 février 2008) alors que leurs confrères Vonmoss et M._ ont fait état respectivement d'un syndrome d'apnée du sommeil et d'une fistule anale (rapports des 4 mars 2008 et 20 septembre 2007). S'agissant enfin des rapports du docteur U._, le recourant ne cherche pas à démontrer, par une argumentation précise, étayée et pertinente, le caractère erroné de la constatation des premiers juges selon laquelle ils ne répondent pas aux conditions auxquelles la jurisprudence soumet la valeur probante de tels documents. Il s'ensuit que la juridiction cantonale, au terme de son appréciation des preuves, n'a pas violé le droit fédéral en retenant que l'expertise pluridisciplinaire revêtait une pleine valeur probante et qu'elle pouvait sans autre se fonder sur les conclusions de celle-ci.
On ne saurait en revanche sur cette base se rallier à la constatation des premiers juges selon laquelle le recourant disposerait d'une capacité résiduelle de travail de 50 %. Il résulte en effet d'une durée hebdomadaire de travail de 41.6 heures en 2008 (La Vie économique, 11/2011, p. 94, B9.2) et d'une exigibilité de 5 heures de travail par jour avec une diminution de rendement de 12.5 % (soit la moyenne des 10 à 15 % retenus par les experts, cf. arrêt 9C_280/2010 du 12 avril 2011 consid. 4.2) une capacité résiduelle de travail de 53 % (25 : 41.6 x 100 x 87.5 : 100). Cette erreur est toutefois dénuée de conséquences puisque, compte tenu de ce taux et de l'abattement de 10 % retenu par les premiers juges (que le recourant ne remet pas en question), le revenu d'invalide de 61'106 fr. (soit un salaire annuel de 56'784 fr. auquel pouvaient prétendre en 2006 les hommes exerçant une activité simple et répétitive [Enquête Suisse sur la structure des salaires 2006, TA1, niveau 4], adapté à un horaire de travail de 41.7 heures en 2006 [La Vie économique, 11/2011, p. 94, B9.2] et à l'évolution des revenus en 2007 [1.6 %] et 2008 [1.6 %]) est ramené à 29'146 fr. (61'106 x 53 : 100 x 90 : 100). Le revenu sans invalidité s'élevant à 65'355 fr. (soit le dernier salaire effectivement réalisé, de 61'390 fr. en 2003, adapté à l'évolution des revenus en 2004 [0.9 %], 2005 [1 %], 2006 [1.2 %], 2007 [1.6 %] et 2008 [1.6 %]), il en découle un degré d'invalidité de 55 % ([65'355 - 29'146] : 65'355) ouvrant au recourant le droit à une demi-rente.
Il s'ensuit que le grief du recourant est mal fondé.
4. Vu ce qui précède, le recours doit être rejeté. Compte tenu de l'issue du litige, les frais judiciaires sont mis à la charge du recourant qui succombe (<ref-law>) et ne peut prétendre des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Le présent arrêt est communiqué aux parties, au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, et à l'Office fédéral des assurances sociales.
Lucerne, le 16 avril 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Bouverat