Faits:
A.
A.a Par demande du 7 mars 1997, V._ a requis l'octroi de prestations de l'assurance-invalidité auprès de l'Office de l'assurance-invalidité du canton de Genève (ci-après: l'office AI), à la suite d'une incapacité de travail survenue en 1996 en raison de douleurs lombaires et de sciatalgies postérieures droites.
Entre autres mesures d'instruction, l'office AI a versé à la procédure le dossier constitué par l'assurance perte de gain en cas de maladie qui était intervenue pour les mêmes raisons. Celle-ci avait notamment recueilli l'avis du docteur A._, spécialiste FMH en médecine interne générale et médecine du travail, qui avait diagnostiqué un syndrome somatoforme douloureux et retenu une incapacité totale de travail depuis août 1996 (cf. rapport du 5 avril 2000). L'office AI a aussi confié la réalisation d'une expertise au centre d'observation médicale de l'assurance-invalidité (COMAI) de l'Hôpital Y_ (Servizio accertamento medico dell'assicurazione invalidità; SAM). Dans leur rapport du 7 novembre 2000, les docteurs B._ et I._, tous deux spécialistes FMH en médecine générale, ont notamment diagnostiqué un trouble dysthymique et un syndrome lombo-vertébral sur composante radiculaire S1 à droite et sur hernie discale L5-S1 médiane et paramédiane à droite; la capacité résiduelle de travail globale était de 70 à 75 % dans une activité adaptée.
Par décisions des 8 octobre 2001, 23 janvier et 1er février 2002, l'office AI a reconnu à l'assuré le droit à une rente entière d'invalidité à partir du 1er août 1997, fondée sur un taux d'invalidité de 100 %, puis à une demi-rente d'invalidité pour cas pénible dès le 1er mars 2000, fondée sur un taux d'invalidité de 45 %, laquelle a été ramenée à un quart de rente le 1er janvier 2004 (cf. décision du 6 janvier 2004) à la suite de la suppression des rentes pour cas pénibles consécutive à l'entrée en vigueur de la 4ème révision de la loi sur l'assurance-invalidité. Le Tribunal cantonal des assurances sociales de la République et canton de Genève (ci-après: le Tribunal cantonal des assurances sociales; aujourd'hui la Cour de justice de la République et canton de Genève, Chambre des assurances sociales) a confirmé ces décisions par jugement du 11 août 2004.
A.b Invoquant une modification de son état de santé, V._ a déposé le 14 décembre 2004 une demande de révision de son droit à la rente auprès de l'office AI, laquelle a été refusée par décision du 16 février 2006.
A la suite de l'opposition formée par l'assuré, l'office AI l'a soumis à une expertise auprès du COMAI de Z._ (Centre d'expertises médicales; CEM). Dans leur rapport du 28 mars 2007, les docteurs P._, spécialiste FMH en médecine interne, S._, spécialiste FMH en psychiatrie, et C._, spécialiste FMH en rhumatologie, ont diagnostiqué, avec répercussion sur la capacité de travail, un syndrome douloureux somatoforme persistant (F47.4), un épisode dépressif sévère sans symptôme psychotique (F32.2), une personnalité dépendante (F60.7) et un retard mental sans précision (F79); la capacité résiduelle de travail était de 30 % dans une activité adaptée.
Par décision sur opposition du 17 janvier 2008, l'office AI a refusé de réviser le droit à la rente, au motif que l'état de santé ne s'était pas modifié de façon notable.
Statuant le 19 août 2008 sur le recours formé par V._, le Tribunal cantonal des assurances sociales lui a reconnu le droit à une rente entière d'invalidité à partir du 1er novembre 2006. Se fondant sur le rapport des médecins du CEM, il a constaté que l'état de santé psychique s'était progressivement aggravé depuis 2001, jusqu'à justifier une incapacité de travail de 70 % à partir du mois de novembre 2006.
B. B.a Entre temps, V._ avait requis l'octroi de prestations de la Caisse paritaire de prévoyance de l'industrie et de la construction (ci-après: la caisse) auprès de laquelle il était affilié jusqu'au 31 décembre 1998. Par communication du 16 juin 2004, celle-ci lui a accordé une rente entière d'invalidité pour la période du 1er août 1997 au 29 février 2000, en précisant qu'une invalidité inférieure à 50 % au sens de l'assurance-invalidité n'ouvrait pas le droit à des prestations de la prévoyance professionnelle au vu des dispositions légales.
B.b A la suite du jugement rendu le 19 août 2008 par le Tribunal cantonal des assurances sociales, l'assuré a requis le versement des rentes d'invalidité corrélatives auprès de la caisse. Celle-ci a refusé de prester, au motif que l'aggravation de l'état de santé résultait de troubles psychiques dont l'origine était postérieure à son affiliation auprès d'elle (cf. courrier du 4 mars 2009).
C. Par demande du 25 mars 2011, V._ a ouvert action en paiement contre la caisse devant la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, qui l'a débouté par jugement du 8 novembre 2011.
D. V._ interjette un recours en matière de droit public à l'encontre de ce jugement dont il demande l'annulation. Il conclut, principalement, au renvoi de la cause à la juridiction cantonale pour complément d'instruction et, subsidiairement, au versement d'un quart de rente d'invalidité de la prévoyance professionnelle à partir du 1er janvier 2005, avec intérêts à 5 % l'an dès le 1er décembre 2005, et d'une rente entière à partir du 1er novembre 2006, avec intérêts à 5 % l'an dès cette date, le tout sous suite de dépens.
La caisse conclut à la confirmation du jugement cantonal, tandis que l'Office fédéral des assurances sociales (OFAS) renonce à se déterminer.

Considérant en droit:
1. Le recours en matière de droit public peut être formé pour violation du droit, tel qu'il est délimité par les art. 95 et 96 LTF. Le Tribunal fédéral applique le droit d'office (art. 106 al. 1 LTF), sans être limité par les arguments de la partie recourante ou par la motivation de l'autorité précédente. Le Tribunal fédéral n'examine en principe que les griefs invoqués, compte tenu de l'exigence de motivation prévue à l'art. 42 al. 2 LTF, et ne peut aller au-delà des conclusions des parties (art. 107 al. 1 LTF). Il fonde son raisonnement sur les faits retenus par la juridiction de première instance (art. 105 al. 1 LTF) sauf s'ils ont été établis de façon manifestement inexacte ou en violation du droit au sens de l'art. 95 LTF (art. 105 al. 2 LTF). Le recourant qui entend s'écarter des faits constatés doit expliquer de manière circonstanciée en quoi les conditions de l'art. 105 al. 2 LTF sont réalisées sinon un état de fait divergent ne peut être pris en considération.
2. A l'appui de ses griefs, le recourant fait valoir l'existence d'un lien de connexité matérielle entre l'invalidité qui lui a été reconnue à partir du mois de novembre 2006 et l'incapacité de travail qui s'était manifestée durant le rapport de prévoyance auprès de la caisse. En revanche, le recours ne contient aucun grief concernant la période du 1er janvier 2005 au 31 octobre 2006. Dans la mesure où les conclusions du recourant tendent au versement d'un quart de rente d'invalidité de la prévoyance professionnelle pour la période du 1er janvier 2005 au 31 octobre 2006, elles doivent être déclarées irrecevables, faute de motivation suffisante au sens de l'art. 42 al. 2 LTF (cf. <ref-ruling> consid. 3.3 p. 60).
3. Le litige porte donc uniquement sur le droit du recourant à une rente entière d'invalidité de la prévoyance professionnelle à partir du 1er novembre 2006. Il s'agit en particulier de savoir s'il existe un lien de connexité matérielle entre l'invalidité reconnue à partir du mois de novembre 2006 et l'incapacité de travail survenue avant le 1er janvier 1999, singulièrement si les troubles psychiques à l'origine de l'aggravation de l'invalidité influençaient déjà la capacité de travail du recourant alors qu'il était assuré auprès de la caisse intimée.
4. Ont droit à des prestations d'invalidité les invalides qui étaient assurés lors de la survenance de l'incapacité de travail dont la cause est à l'origine de l'invalidité (art. 23, 2ème partie de la phrase, LPP). Selon la jurisprudence, l'événement assuré au sens de l'art. 23 LPP (dans sa teneur en vigueur jusqu'au 31 décembre 2004) est uniquement la survenance d'une incapacité de travail d'une certaine importance, indépendamment du point de savoir à partir de quel moment et dans quelle mesure un droit à des prestations d'invalidité est né. La qualité d'assuré doit exister au moment de la survenance de l'incapacité de travail, mais pas nécessairement lors de l'apparition ou de l'aggravation de l'invalidité. Ces principes sont aussi applicables en matière de prévoyance plus étendue, à tout le moins en l'absence de dispositions statuaires ou réglementaires contraires (<ref-ruling> consid. 1a et b p. 263 et les références citées).
Cependant, pour que l'institution de prévoyance reste tenue à prestations après la dissolution des rapports de travail, il faut non seulement que l'incapacité de travail ait débuté à une époque où l'assuré lui était affilié, mais encore qu'il existe entre cette incapacité de travail et l'invalidité une relation d'étroite connexité. La connexité doit être à la fois matérielle et temporelle (<ref-ruling> consid. 4.1 p. 275). Il y a connexité matérielle si l'affection à l'origine de l'invalidité est la même que celle qui s'est déjà manifestée durant le rapport de prévoyance (et qui a entraîné une incapacité de travail). La connexité temporelle implique qu'il ne se soit pas écoulé une longue interruption de l'incapacité de travail; elle est rompue si, pendant une certaine période qui peut varier en fonction des circonstances du cas, l'assuré est à nouveau apte à travailler (<ref-ruling> consid. 1c p. 264, 120 V 112 consid. 2c/aa p. 117).
Lorsque plusieurs atteintes à la santé concourent à l'invalidité, il ne suffit pas de constater la persistance d'une incapacité de gain et d'une incapacité de travail qui a débuté durant l'affiliation à l'institution de prévoyance pour justifier le droit à une prestation de prévoyance. Il convient au contraire, conformément à l'art. 23 LPP qui se réfère à la cause de l'incapacité de travail, d'examiner séparément, en relation avec chaque atteinte à la santé, si l'incapacité de travail qui en a résulté est survenue durant l'affiliation à l'institution de prévoyance et est à l'origine d'une invalidité (arrêt du Tribunal fédéral 9C_578/2011 du 12 octobre 2012 consid. 6.3 et l'arrêt cité, destiné à la publication).
5. 5.1 La juridiction cantonale a nié au recourant le droit à des prestations de la prévoyance professionnelle, au motif qu'il n'existait pas de lien de connexité matérielle entre l'incapacité de travail survenue pendant son affiliation auprès de la caisse et l'atteinte à la santé justifiant l'octroi d'une rente entière de l'assurance-invalidité à partir du 1er novembre 2006. Se fondant essentiellement sur les arrêts du Tribunal cantonal des assurances sociales des 11 août 2004 et 19 août 2008 rendus en matière d'assurance-invalidité, elle a constaté que l'incapacité de travail présentée par le recourant depuis 1996 jusqu'à la fin de son affiliation auprès de la caisse, soit jusqu'au 31 décembre 1998, avait pour seule origine des troubles lombaires, lesquels ne s'étaient pas aggravés depuis lors. Or, l'aggravation de l'invalidité en novembre 2006 était due à des troubles psychiques.
5.2 Le recourant reproche en substance à la juridiction cantonale d'avoir nié l'existence d'une incapacité de travail d'origine psychique avant le 1er janvier 1999.
6. 6.1 En l'espèce, la juridiction cantonale a considéré qu'il n'existait aucun motif de revenir sur l'appréciation des rapports médicaux faite par le Tribunal cantonal des assurances sociales dans son jugement du 11 août 2004. Celui-ci avait alors retenu que l'assuré disposait d'une capacité de travail de 70 à 75 % dans une activité légère (cf. rapport d'expertise du SAM du 7 novembre 2000). Quand bien même on aurait retenu le diagnostic de trouble somatoforme douloureux posé par le docteur A._, cette affection ne revêtait pas de caractère invalidant. De même, le jugement rendu le 19 août 2008 par le Tribunal cantonal des assurances sociales expliquait clairement les raisons pour lesquelles l'origine du trouble dépressif sévère diagnostiqué par les experts du CEM ne pouvait pas remonter à 1996. Il ne ressortait par ailleurs pas des autres pièces médicales versées au dossier et des rapports médicaux produits par le recourant au cours de la procédure que celui-ci aurait présenté des troubles psychiques à caractère invalidant antérieurement au 1er janvier 1999.
6.2 A la lecture du jugement entrepris, il y a lieu de constater que les premiers juges ont fondé leur raisonnement sur des bases manifestement erronées. Les jugements auxquels s'est référée la juridiction cantonale n'étaient pas de nature à renseigner sur la question de savoir si le recourant était atteint de troubles psychiques entraînant une incapacité de travail à l'époque de son affiliation auprès de l'intimée. L'objet du litige dans les procédures qui ont donné lieu à ces jugements portait sur la fixation du degré d'invalidité au sens des dispositions de la LAI, ce qui présupposait une appréciation globale de la capacité résiduelle de travail du recourant, sans distinction entre les différentes atteintes à la santé.
En l'occurrence, il appartenait à la juridiction cantonale de déterminer si les troubles à l'origine de l'invalidité reconnue en 2006 étaient en lien de connexité matérielle avec l'incapacité de travail existant avant le 1er janvier 1999. Sa tâche consistait plus particulièrement à définir les différentes affections à l'origine de l'aggravation de cette invalidité et d'examiner si celles-ci étaient présentes à l'époque de l'affiliation et avaient altéré la capacité de travail, sur la base des pièces médicales établies à l'époque des faits. La juridiction cantonale n'a toutefois pas procédé à cet examen, en violation du droit fédéral. Dans ces circonstances, l'argumentation développée par l'intimée dans sa détermination du 3 décembre 2012 tendant à confirmer le jugement cantonal ne saurait être pertinente. Il existait par ailleurs des indices laissant à penser que le recourant présentait déjà des troubles psychiques entraînant une incapacité de travail avant le 1er janvier 1999. Il ressortait par exemple de l'expertise réalisée au SAM, telle qu'exposée dans l'état de fait du jugement entrepris, que le recourant souffrait d'un trouble de la lignée dépressive (trouble dysthymique); le docteur F._, spécialiste FMH en psychiatrie et psychothérapie, appelé à fournir une appréciation sur l'état de santé psychique du recourant, avait alors indiqué que cette affection justifiait à elle-seule une incapacité de travail de 30 %. Quand bien même cette expertise a été réalisée postérieurement à la période litigieuse, on ne pouvait exclure, au degré de la vraisemblance prépondérante requise en matière d'assurances sociales, que les troubles décrits par les experts du SAM n'étaient pas déjà présents à ce moment-là.
6.3 Sur le vu de ce qui précède, il convient d'admettre le recours, d'annuler le jugement entrepris et de renvoyer la cause à la juridiction cantonale pour instruction complémentaire et nouveau jugement. Dans la mesure où la question du lien de connexité matérielle nécessite un examen des pièces médicales établies tout au long de la procédure, il lui appartiendra de verser en cause le dossier de l'assurance-invalidité et celui de l'assurance perte de gain en cas de maladie.
7. Vu l'issue du litige, les frais judiciaires sont supportés par l'intimée (art. 66 al. 1 LTF en relation avec l'art. 65 al. 4 let. a LTF). Le recourant, qui obtient gain de cause, a droit à une indemnité de dépens à la charge de l'intimée (art. 68 al. 1 LTF).

Par ces motifs, le Tribunal fédéral prononce:
1. Dans la mesure où il est recevable, le recours est admis, en ce sens que la décision de la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, du 8 novembre 2011 est annulée, la cause étant renvoyée à la juridiction de première instance pour complément d'instruction au sens des considérants et nouveau jugement.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge de l'intimée.
3. L'intimée versera au recourant la somme de 2'800 fr. à titre de dépens pour la dernière instance.
4. Le présent arrêt est communiqué aux parties, à la Cour de justice de la République et canton de Genève, Chambre des assurances sociales, et à l'Office fédéral des assurances sociales.
Lucerne, le 14 décembre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Hichri