Faits: A. A.a A._, né en 1962, a travaillé comme man?uvre maçon. Le 29 janvier 1992, il a été victime d'un accident. La CNA a pris le cas en charge et lui a reconnu le droit à une rente d'invalidité de 30 % à compter du 1er novembre 1995 (décision du 9 novembre 1995). De son côté, l'Office de l'assurance-invalidité (ci-après: l'office AI), auprès duquel A._ s'était annoncé le 6 juillet 1993, lui a alloué une rente entière d'invalidité du 1er janvier au 30 septembre 1993, ainsi que du 1er février 1994 au 30 octobre 1995, et une demi-rente pour le mois d'octobre 1995 (décision du 2 octobre 1997). Par la suite, il lui a accordé une mesure de réadaptation, sous la forme d'un reclassement professionnel, laquelle s'est étendue du 1er août 1998 au 31 janvier 1999 (décision du 11 février 1999). Le 28 avril 2003, A._ a déposé une nouvelle demande, en raison d'une hernie discale et de lombalgies chroniques, que l'administration a rejetée par décision sur opposition du 18 janvier 2005, confirmée par jugement du Tribunal administratif de la République et canton de Neuchâtel du 25 novembre 2005. Du 6 février au 3 mars 2006, l'assuré a effectué un séjour à l'hôpital psychiatrique X._ (rapport des doctoresses C._, spécialiste FMH en psychiatrie et psychothérapie, et S._ du 6 mars 2006). A la fin de l'année 2006, il a subi une cure chirurgicale d'une fistule para-anale gauche (rapport du docteur M._, spécialiste FMH en médecine interne et en gastroentérologie, du 20 septembre 2007). A.b Le 11 janvier 2008, A._ a déposé une nouvelle demande auprès de l'office AI, se plaignant d'une hernie discale lombaire, d'un état dépressif et de douleurs chroniques. Il a transmis à l'office AI des documents médicaux émanant des docteurs B._, spécialiste FMH en médecine interne et rhumatologie ainsi qu'en médecine psychosomatique et psychosociale (rapport du 8 février 2008), H._, spécialiste FMH en médecine physique et réadaptation et en rhumatologie (rapport du 11 février 2008), V._, spécialiste FMH en pneumologie et en médecine interne générale (rapport du 4 mars 2008), et U._, spécialiste FMH en médecine générale et médecin traitant (rapport du 14 mars 2008). Ce dernier a conclu à une incapacité de travail totale, en précisant cependant qu'une expertise pluridisciplinaire lui paraissait indispensable, avis qu'il a confirmé après avoir été interpellé par l'office AI (rapport du 2 septembre 2008). L'administration a chargé le centre d'expertise médicale de Genève (ci-après: le CEM) d'une telle expertise (rapports des docteurs K._, spécialiste FMH en médecine interne générale, O._, spécialiste FMH en médecine physique et réadaptation et en rhumatologie, E._, spécialiste FMH en psychiatrie et psychothérapie, et R._ des 2 mars et 21 avril 2009). Par décision du 13 janvier 2010, l'office AI a octroyé à A._ une demi-rente à compter du 1er septembre 2008. B. L'assuré a déféré cette décision au Tribunal cantonal de la République et canton de Neuchâtel, Cour de droit public, devant lequel il a produit un rapport du docteur U._ du 28 janvier 2009 (recte: 2010). Il a été débouté par jugement du 21 décembre 2011. C. A._ interjette un recours en matière de droit public contre ce jugement dont il demande l'annulation. Il conclut essentiellement à l'octroi d'une rente entière d'invalidité à compter du 1er septembre 2008, éventuellement au renvoi du dossier au Tribunal cantonal pour instruction complémentaire et nouveau jugement.