Faits: Faits: A. A.a K._, né le 15 février 1956, marié et père de famille, a travaillé depuis le 1er novembre 1988 en qualité de manutentionnaire au service de X._ SA. Le 12 mars 1991, K._ a été victime d'un accident sur son lieu de travail, au cours duquel il a fait un faux mouvement de traction violente sur le membre inférieur gauche. Les médecins ont diagnostiqué une luxation antéro-inférieure récidivante de l'épaule gauche (rapport médical initial LAA du 4 avril 1991). La CNA a pris en charge le cas et alloué à l'assuré les prestations légales dues pour les suites de cet accident. A partir du 1er juin 1992, K._ a exercé à nouveau son emploi selon l'horaire normal de l'entreprise. En raison de l'inadaptation au poste de travail et pour des motifs de restructuration, X._ SA a résilié les rapports de travail pour le 31 août 1992. Par lettre du 9 septembre 1992, la CNA a avisé l'assuré qu'elle arrêtait le paiement de l'ensemble de ses prestations, étant donné que la guérison des suites de l'accident du 12 mars 1991 avait progressé au point que la poursuite du traitement médical n'était plus nécessaire et qu'une incapacité de travail ne se justifiait plus au-delà du 1er juin 1992. Le 17 mars 1992, K._ a présenté une demande de prestations de l'assurance-invalidité. Dans un prononcé présidentiel du 3 mars 1993, la Commission de l'assurance-invalidité du canton de Vaud a conclu à une invalidité de 50 % dès le 12 mars 1992 et constaté que le droit de l'assuré à une rente d'invalidité existait jusqu'au 31 mai 1992. Par décision du 16 juin 1993, la Caisse de compensation des Industries vaudoises a alloué à K._ une demi-rente simple d'invalidité d'un montant mensuel de 448 fr. pour la période du 1er mars 1992 au 31 mai 1992. Suite au départ de K._ pour Y._, l'Office de l'assurance-invalidité du canton de Soleure, par décision du 12 décembre 1995, lui a versé pour la même période jusqu'au 31 mai 1992 une demi-rente d'invalidité de 547 fr. par mois, assortie d'une demi-rente pour son épouse et d'une demi-rente pour enfant. A.b Dans une déclaration d'accident LAA du 10 février 1993, K._ a annoncé à la CNA qu'il avait été victime le 6 décembre 1992 d'une chute dans les escaliers de l'immeuble où il habitait. Le docteur B._, médecin d'arrondissement de la CNA, a adressé K._ au professeur G._, médecin-chef du Service de chirurgie orthopédique de l'Hôpital Z._. Dans un rapport du 23 septembre 1993, ce spécialiste a constaté une récidive ou persistance d'une instabilité antéro-inférieure de l'épaule gauche avec arthrose secondaire. Le 10 janvier 1994, les médecins du Service de chirurgie orthopédique de cet établissement hospitalier ont procédé à la reconstruction de la glène antéro-inférieure par greffe cortico-spongieuse autologue (crête iliaque gauche). Du 9 au 21 mai 1994, le patient a été hospitalisé dans le Service de chirurgie orthopédique, en vue d'une arthroscopie de l'épaule gauche. Souffrant de douleurs chroniques, K._ a séjourné du 13 juillet au 17 août 1994 à la Clinique T._. Par la suite, il a été examiné par les médecins de l'Hôpital V._ (rapport du 4 janvier 1995 du docteur S._, chef de clinique, et du docteur W._, médecin assistant). Sur requête du docteur B._, d'autres examens ont été effectués, notamment une scanographie de l'épaule gauche le 9 août 1995. Dans une lettre du 23 novembre 1995, la CNA a avisé K._ que les examens médicaux avaient établi qu'un traitement n'était plus nécessaire et qu'elle mettait fin aux prestations pour soins et au versement des indemnités journalières avec effet dès le 1er janvier 1996. Par décision du 6 février 1996, elle lui a alloué pour les suites de l'accident du 12 mars 1991 une rente d'invalidité à partir du 1er janvier 1996 pour une incapacité de gain de 20 % et une indemnité pour atteinte à l'intégrité d'un montant de 24'300 fr., compte tenu d'une diminution de l'intégrité de 25 %. Le 21 mars 1995, K._ a présenté une demande de prestations de l'assurance-invalidité. L'Office de l'assurance-invalidité du canton de Soleure a confié une expertise au Centre d'observation médicale (MEDAS) de F._ (Centre d'expertise médicale). Les docteurs I._, spécialiste en psychiatrie, et A._, médecin généraliste, ont déposé leurs conclusions dans un rapport du 27 juin 1996. L'office AI, dans un prononcé du 24 juillet 1996, a conclu à une invalidité de 75 % depuis le 6 décembre 1993. Il constatait que le droit de l'assuré à une rente d'invalidité était limité au 31 décembre 1996. Par décision du 20 décembre 1996, il a alloué à K._ dès le 1er décembre 1993 une rente entière d'invalidité, assortie d'une rente complémentaire pour son épouse et d'une rente pour enfant; par une autre décision rendue le même jour, il lui a alloué une deuxième rente pour enfant à partir du 1er février 1994. Le 14 avril 1997, il lui a alloué une troisième rente pour enfant pour la période du 1er avril 1995 au 31 décembre 1996. Dans un rapport médical du 27 août 1997, le docteur C._, spécialiste FMH en médecine générale à Y._, a conclu à une incapacité totale de travail du patient dans son métier d'aide-manutentionnaire. Il indiquait qu'objectivement, aucune activité lucrative n'était raisonnablement exigible de la part de ce patient. L'office AI, dans un prononcé du 10 septembre 1997, a fixé à 75 % l'invalidité de K._ depuis le 1er janvier 1997. Par décision du 15 mai 1998, il lui a alloué une rente entière d'invalidité dès le 1er janvier 1997, assortie d'une rente complémentaire pour son épouse et de trois rentes pour enfants. A.c Pendant la période durant laquelle K._ était au service de X._ SA, celui-ci était affilié au titre de la prévoyance professionnelle à la Caisse de retraite de cette entreprise. Le 25 novembre 1998, il a présenté une demande tendant au versement d'une rente d'invalidité. Par lettre du 19 janvier 1999, la Caisse de retraite lui a opposé un refus, au motif qu'il n'existait plus aucun lien de causalité entre l'accident du travail du 12 mars 1991 et son invalidité actuelle au sens de l'assurance-invalidité. Le 22 décembre 2000, K._ a renouvelé sa requête, que la Caisse de retraite a rejetée par lettre du 6 août 2001. Celui-ci a relancé la caisse les 6 septembre 2001 et 29 janvier 2002. Par lettre du 5 février 2002, la Caisse de retraite de X._ SA a maintenu sa position. A.c Pendant la période durant laquelle K._ était au service de X._ SA, celui-ci était affilié au titre de la prévoyance professionnelle à la Caisse de retraite de cette entreprise. Le 25 novembre 1998, il a présenté une demande tendant au versement d'une rente d'invalidité. Par lettre du 19 janvier 1999, la Caisse de retraite lui a opposé un refus, au motif qu'il n'existait plus aucun lien de causalité entre l'accident du travail du 12 mars 1991 et son invalidité actuelle au sens de l'assurance-invalidité. Le 22 décembre 2000, K._ a renouvelé sa requête, que la Caisse de retraite a rejetée par lettre du 6 août 2001. Celui-ci a relancé la caisse les 6 septembre 2001 et 29 janvier 2002. Par lettre du 5 février 2002, la Caisse de retraite de X._ SA a maintenu sa position. B. Le 13 août 2002, K._ a ouvert action contre la Caisse de retraite de X._ SA devant le Tribunal des assurances du canton de Vaud, en concluant à l'allocation d'une rente entière d'invalidité à partir du 1er décembre 1993, respectivement à partir du 1er décembre 1997, plus intérêts à 5 % à dire de justice. Statuant le 23 mars 2004, le Tribunal des assurances a rejeté la demande. Il a fixé à 2'582 fr. 40 les indemnités dues au titre de l'assistance judiciaire. Statuant le 23 mars 2004, le Tribunal des assurances a rejeté la demande. Il a fixé à 2'582 fr. 40 les indemnités dues au titre de l'assistance judiciaire. C. K._ interjette un recours de droit administratif contre ce jugement, en concluant, sous suite de frais et dépens, à l'octroi d'une rente entière d'invalidité à compter du 1er décembre 1993, respectivement le 1er décembre 1997, soit une rente mensuelle de 1'458 fr. 30 (rente annuelle de 18'958 fr. payable en 13 mensualités). A titre subsidiaire, il demande que la cause soit renvoyée au Tribunal des assurances du canton de Vaud pour qu'il statue au sens des considérants du Tribunal fédéral des assurances. Il sollicite le bénéfice de l'assistance judiciaire. La Caisse de retraite de X._ SA conclut, sous suite de frais et dépens, au rejet du recours. L'Office fédéral des assurances sociales renonce à se déterminer.