Faits:
Faits:
A. L._, né en 1939, a travaillé en qualité de maçon à partir du 1er janvier 1988 au service de l'entreprise E._ SA. A ce titre, il était affilié à la Caisse de pension du bâtiment et génie civil (la caisse de pension). Le 28 novembre 1994, l'employeur a résilié les rapports de service pour le 31 décembre 1994; le travail effectif a pris fin le 21 décembre 1994. Dès le 1er janvier 1995, L._ a bénéficié d'indemnités de l'assurance-chômage.
Le prénommé a été victime d'un infarctus le 27 mars 1995; à la suite de cet événement, il a présenté jusqu'au 11 février 1996 une incapacité de travail totale, puis à 50 %. Depuis le 1er mars 1996, il perçoit une rente entière de l'assurance-invalidité.
Par écriture du 17 décembre 1996, E._ SA a informé la caisse de pension que L._ avait cessé de travailler à son service le 21 décembre 1994. Par lettre du 9 juillet 1997, la caisse de pension a signifié à L._ qu'elle lui refusait toute prestation d'invalidité en raison de l'incapacité de gain présentée à la suite du 27 mars 1995; aucune prolongation de la couverture d'assurance n'ayant été conclue et confirmée à la suite de la résiliation du contrat de travail, l'incapacité était survenue alors qu'il n'était plus assuré. La caisse de pension a confirmé son point de vue, par écritures des 6 octobre 1997 et 17 février 1998.
Par écriture du 17 décembre 1996, E._ SA a informé la caisse de pension que L._ avait cessé de travailler à son service le 21 décembre 1994. Par lettre du 9 juillet 1997, la caisse de pension a signifié à L._ qu'elle lui refusait toute prestation d'invalidité en raison de l'incapacité de gain présentée à la suite du 27 mars 1995; aucune prolongation de la couverture d'assurance n'ayant été conclue et confirmée à la suite de la résiliation du contrat de travail, l'incapacité était survenue alors qu'il n'était plus assuré. La caisse de pension a confirmé son point de vue, par écritures des 6 octobre 1997 et 17 février 1998.
B. Le 16 juillet 2002, L._ a assigné la caisse de pension devant le Tribunal des assurances du canton du Valais en paiement d'une somme de 123'834 fr., correspondant au dommage qu'il subissait du fait de la perte des rentes qu'il aurait dû percevoir s'il avait été assuré.
Par jugement du 17 septembre 2003, la juridiction cantonale a rejeté la demande.
Par jugement du 17 septembre 2003, la juridiction cantonale a rejeté la demande.
C. L._ interjette recours de droit administratif contre ce jugement dont il demande l'annulation, avec suite de dépens, en concluant à ce que la caisse de pension soit condamnée à lui payer un montant de 117'120 fr. 90, avec intérêts à 5 % l'an dès le 1er janvier 2000.
L'intimée conclut au rejet du recours, avec suite de dépens. L'Office fédéral des assurances sociales propose également de rejeter le recours.

Considérant en droit:
Considérant en droit:
1. Le Tribunal fédéral des assurances examine d'office les conditions formelles de validité et de régularité de la procédure, soit en particulier le point de savoir si c'est à juste titre que la juridiction cantonale est entrée en matière sur le recours (ou sur l'action). Lorsque l'autorité de première instance a ignoré qu'une condition mise à l'examen du fond du litige par le juge faisait défaut et a statué sur le fond, c'est un motif pour le tribunal saisi de l'affaire d'annuler d'office le jugement en question (<ref-ruling> consid. 1a, 122 V 322 consid. 1).
1. Le Tribunal fédéral des assurances examine d'office les conditions formelles de validité et de régularité de la procédure, soit en particulier le point de savoir si c'est à juste titre que la juridiction cantonale est entrée en matière sur le recours (ou sur l'action). Lorsque l'autorité de première instance a ignoré qu'une condition mise à l'examen du fond du litige par le juge faisait défaut et a statué sur le fond, c'est un motif pour le tribunal saisi de l'affaire d'annuler d'office le jugement en question (<ref-ruling> consid. 1a, 122 V 322 consid. 1).
2. 2.1 Aux termes de l'art. 73 al. 1 LPP, dans sa teneur en vigueur depuis le 1er janvier 1997, chaque canton désigne un tribunal qui connaît, en dernière instance cantonale, des contestations opposant institutions de prévoyance, employeurs et ayants droit. Le tribunal statue de même sur les prétentions en matière de responsabilité selon l'art. 52 et sur le droit de recours selon l'art. 56a al. 1. D'après l'art. 73 al. 4 LPP, les décisions des tribunaux cantonaux peuvent être déférées au Tribunal fédéral des assurances par la voie du recours de droit administratif.
Cette disposition s'applique d'une part aux institutions de prévoyance enregistrées de droit privé ou de droit public - aussi bien en ce qui concerne les prestations minimales obligatoires qu'en ce qui concerne les prestations s'étendant au-delà (art. 49 al. 2 LPP) - et, d'autre part, aux fondations de prévoyance en faveur du personnel non enregistrées, dans le domaine des prestations qui dépassent le minimum obligatoire (art. 89 bis al. 6 CC; <ref-ruling> consid. 2a).
2.2 La compétence des autorités visées par l'art. 73 LPP est doublement définie. Elle l'est, tout d'abord, quant à la nature du litige : il faut que la contestation entre les parties porte sur des questions spécifiques de la prévoyance professionnelle, au sens étroit ou au sens large. Ce sont donc principalement des litiges qui portent sur des prestations d'assurance, des prestations de libre passage (actuellement prestations d'entrée ou de sortie) et des cotisations. En revanche, les voies de droit de l'art. 73 LPP ne sont pas ouvertes lorsque la contestation a un fondement juridique autre que le droit de la prévoyance professionnelle, même si elle devait avoir des effets relevant de celui-ci (<ref-ruling> consid. 1b, 127 V 35 consid. 3b et les références).
La compétence des autorités visées à l'art. 73 LPP est également limitée par le fait que la loi désigne de manière non équivoque les parties pouvant être liées à une contestation, savoir les institutions de prévoyance, les employeurs et les ayants droit (<ref-ruling> consid. 3b et les références; sur cette question, voir : Meyer-Blaser, Die Rechtswege nach dem BVG, RDS [106] 1987 I p. 610 ss; Schwarzenbach-Hanhart, Die Rechtspflege nach dem BVG, RSAS 1983 p. 174).
2.3 Selon la jurisprudence, la question du dommage éventuel, résultant du fait que la prévoyance professionnelle d'un assuré n'a pas été maintenue au moyen d'une police de libre passage ou d'un compte de libre passage, échappe au pouvoir d'examen du Tribunal fédéral des assurances; la Cour de céans s'est déclarée incompétente dans le cadre de l'art. 73 al. 4 LPP pour connaître d'une action en responsabilité civile intentée contre une institution de prévoyance (<ref-ruling> consid. 3d et les références). La Cour de céans a également jugé que l'action d'un salarié devenu invalide - visant au paiement de la différence entre les prestations servies par la caisse de pensions et le montant minimum prévu par la convention collective - formée contre son ex-employeur qui ne l'avait pas assuré pour les prestations minimales conventionnelles en cas d'invalidité, ne constituait pas un litige spécifique de la prévoyance professionnelle entre un employeur et un ayant droit, au sens de l'art. 73 al. 1 LPP (dans sa teneur originaire du 25 juin 1982). Partant les autorités juridictionnelles désignées par l'art. 73 LPP n'étaient pas compétentes pour en connaître (<ref-ruling> sv. consid. 3 et 4).
Ultérieurement, à l'occasion d'un litige où la portée de l'art. 13 de l'ordonnance sur le maintien de la prévoyance et le libre passage du 12 novembre 1986 (en vigueur jusqu'au 31 décembre 1994) a été abordée, le Tribunal fédéral des assurances a jugé qu'il n'y avait pas lieu d'examiner si l'institution de prévoyance avait ou non violé son obligation d'informer son assuré, dès lors que ce dernier ne bénéficiait plus, au moment de l'accident, d'une couverture d'assurance pour le risque d'invalidité. En effet, le dommage consécutif à une telle violation ne relevait pas de la prévoyance professionnelle (au sens large ou au sens étroit), mais de la responsabilité des institutions de prévoyance, dont le juge désigné à l'art. 73 LPP n'avait pas à connaître (RSAS 1998 p. 133 consid. 4b). La Cour de céans a maintenu sa jurisprudence dans une affaire analogue (RSAS 1998 p. 53 consid. 2).
La modification de l'art. 73 al. 1 LPP, par la novelle du 21 juin 1996, a étendu les attributions du juge aux prétentions en matière de responsabilité, au sens de l'art. 52 LPP, et de recours et de droit au remboursement, selon l'art. 56a al. 1 LPP. Toutefois, ces deux dispositions légales ne visent que les personnes chargées de l'administration, de la gestion ou du contrôle de l'institution de prévoyance (art. 52) ainsi que celles qui sont responsables de l'insolvabilité de l'institution (art. 56a al. 1). Les institutions de prévoyance elles-mêmes ne sont pas concernées et rien ne permet d'admettre que le législateur avait l'intention de modifier cette situation ou d'étendre davantage la compétence du juge de l'art. 73 LPP (FF 1996 I 529 ad art. 73). Dès lors, comme sous l'empire de l'art. 73 al. 1 LPP dans sa teneur originaire, il convient d'admettre qu'une action en responsabilité civile intentée contre une institution de prévoyance n'est pas recevable devant les autorités juridictionnelles désignées à l'art. 73 LPP.
La modification de l'art. 73 al. 1 LPP, par la novelle du 21 juin 1996, a étendu les attributions du juge aux prétentions en matière de responsabilité, au sens de l'art. 52 LPP, et de recours et de droit au remboursement, selon l'art. 56a al. 1 LPP. Toutefois, ces deux dispositions légales ne visent que les personnes chargées de l'administration, de la gestion ou du contrôle de l'institution de prévoyance (art. 52) ainsi que celles qui sont responsables de l'insolvabilité de l'institution (art. 56a al. 1). Les institutions de prévoyance elles-mêmes ne sont pas concernées et rien ne permet d'admettre que le législateur avait l'intention de modifier cette situation ou d'étendre davantage la compétence du juge de l'art. 73 LPP (FF 1996 I 529 ad art. 73). Dès lors, comme sous l'empire de l'art. 73 al. 1 LPP dans sa teneur originaire, il convient d'admettre qu'une action en responsabilité civile intentée contre une institution de prévoyance n'est pas recevable devant les autorités juridictionnelles désignées à l'art. 73 LPP.
3. En l'espèce, le Tribunal cantonal des assurances a jugé que le droit aux rentes d'invalidité de la prévoyance professionnelle était prescrit pour la période antérieure au mois de juillet 1997 et que les prestations non prescrites s'élevaient à 117'120 fr. 90 au 31 juillet 2002. Cela étant, la juridiction cantonale a considéré que le recourant n'était pas assuré lorsqu'il avait été victime d'un infarctus le 27 mars 1995 et que l'intimée n'était pas responsable de l'absence à cette date de la couverture d'assurance. En conséquence, les premiers juges ont rejeté la demande, considérant que l'intimée n'était pas débitrice de la somme de 117'120 fr. 90 à l'égard du recourant.
3. En l'espèce, le Tribunal cantonal des assurances a jugé que le droit aux rentes d'invalidité de la prévoyance professionnelle était prescrit pour la période antérieure au mois de juillet 1997 et que les prestations non prescrites s'élevaient à 117'120 fr. 90 au 31 juillet 2002. Cela étant, la juridiction cantonale a considéré que le recourant n'était pas assuré lorsqu'il avait été victime d'un infarctus le 27 mars 1995 et que l'intimée n'était pas responsable de l'absence à cette date de la couverture d'assurance. En conséquence, les premiers juges ont rejeté la demande, considérant que l'intimée n'était pas débitrice de la somme de 117'120 fr. 90 à l'égard du recourant.
4. Aussi bien devant le Tribunal cantonal des assurances qu'en procédure fédérale, le recourant a reconnu qu'il n'était pas assuré par la caisse de pension intimée à l'époque où est survenue l'atteinte à la santé à l'origine de son invalidité. Il impute toutefois l'absence de couverture d'assurance à l'institution de prévoyance intimée et à son ancien employeur, à qui il reproche d'avoir omis de l'informer personnellement de toutes les possibilités légales de maintien de la prévoyance. De ce chef, il invoque la responsabilité de l'intimée et demande la réparation du dommage causé par le défaut d'assurance au mois de mars 1995, la créance en réparation qu'il fait valoir n'étant au demeurant pas éteinte.
4. Aussi bien devant le Tribunal cantonal des assurances qu'en procédure fédérale, le recourant a reconnu qu'il n'était pas assuré par la caisse de pension intimée à l'époque où est survenue l'atteinte à la santé à l'origine de son invalidité. Il impute toutefois l'absence de couverture d'assurance à l'institution de prévoyance intimée et à son ancien employeur, à qui il reproche d'avoir omis de l'informer personnellement de toutes les possibilités légales de maintien de la prévoyance. De ce chef, il invoque la responsabilité de l'intimée et demande la réparation du dommage causé par le défaut d'assurance au mois de mars 1995, la créance en réparation qu'il fait valoir n'étant au demeurant pas éteinte.
5. A l'examen du dossier et des actes de procédure, il apparaît que le recourant n'a pas saisi le juge des assurances sociales d'une action dirigée contre la caisse de pension intimée en paiement de prestations de la prévoyance professionnelle, en exécution d'un contrat de prévoyance. En effet, d'entrée de cause (voir la demande du 16 juillet 2002 et la réplique du 25 septembre 2002), le recourant a uniquement invoqué la responsabilité de l'institution de prévoyance dans le défaut d'assurance lors de la survenance du risque, afin d'obtenir la réparation du préjudice causé, qui correspondait selon lui aux rentes qu'il ne pouvait pas percevoir.
Un tel litige ne relève pas spécifiquement de la prévoyance professionnelle, au sens de l'art. 73 al. 1 LPP. En effet, il s'agit-là manifestement d'une action en responsabilité civile du fait d'un dommage, intentée contre l'institution de prévoyance. La Cour de céans n'est pas compétente pour en connaître, pas plus qu'elle ne saurait constater en l'état une éventuelle violation d'une obligation de renseigner.
De ce qui précède, il découle que le Tribunal cantonal des assurances n'était pas habilité, en sa qualité de juge de l'art. 73 LPP, de connaître de la demande portée devant lui. Le jugement attaqué doit ainsi être annulé d'office (cf. <ref-ruling> consid. 4).
De ce qui précède, il découle que le Tribunal cantonal des assurances n'était pas habilité, en sa qualité de juge de l'art. 73 LPP, de connaître de la demande portée devant lui. Le jugement attaqué doit ainsi être annulé d'office (cf. <ref-ruling> consid. 4).
6. Compte tenu de la nature particulière du litige, la procédure est gratuite (art. 134 OJ).
Le recourant obtient gain de cause en ce sens que le jugement attaqué doit être annulé. Même s'il n'a pas mis en question la compétence des autorités selon l'art. 73 LPP, il se justifie de lui allouer une indemnité de dépens (<ref-ruling>, consid. 5 non publié).

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Dans la mesure où il est recevable, le recours est admis et le jugement du Tribunal des assurances du canton du Valais du 17 septembre 2003 est annulé.
1. Dans la mesure où il est recevable, le recours est admis et le jugement du Tribunal des assurances du canton du Valais du 17 septembre 2003 est annulé.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. L'intimée versera au recourant une indemnité de dépens de 1'500 fr. pour la procédure fédérale.
3. L'intimée versera au recourant une indemnité de dépens de 1'500 fr. pour la procédure fédérale.
4. Le présent arrêt sera communiqué aux parties, au Tribunal des assurances du canton du Valais et à l'Office fédéral des assurances sociales.
Lucerne, le 27 avril 2004
Au nom du Tribunal fédéral des assurances
La Présidente de la IIIe Chambre: Le Greffier: