Faits:
Faits:
A. C._, né en 1954, a travaillé en qualité de machiniste au service de l'entreprise F._. Il a sollicité, le 30 septembre 1996, des prestations de l'assurance-invalidité en raison d'un status post-fracture ouverte de la jambe gauche en 1972 et de lombalgies chroniques sur trouble de la statique associées à des troubles dégénératifs. Cette demande a été rejetée par l'Office AI du canton de Neuchâtel (ci-après: Office AI) par décision du 8 août 1998, au motif que son incapacité de travail ne dépassait pas 20 % en tant que machiniste. Le Tribunal administratif du canton de Neuchâtel a, sur recours, confirmé le bien-fondé de cette décision (jugement du 5 janvier 1999).
Bénéficiaire d'indemnités de chômage à partir du 26 novembre 1997, C._ a été affilié à la Fondation institution supplétive LPP (ci-après: la fondation). Dans le cadre du programme pour l'emploi temporaire, il a été engagé à 50 pour cent, par contrat de droit privé, par l'Etat de Neuchâtel du 6 avril au 5 octobre 1999 pour le compte de G._. A ce titre, il a été affilié durant cette période à la Caisse de pensions de l'Etat de Neuchâtel (ci-après la caisse de pensions) en matière de prévoyance professionnelle. Il a perçu des indemnités de chômage jusqu'au 25 mai 1999.
A partir du 26 avril 1999, il a présenté une incapacité de travail totale attestée par le docteur H._, spécialiste en maladies rhumatismales, attribuable aux affections somatiques précédentes et à un syndrome somatoforme douloureux (rapport du 2 novembre 1999). Pour sa part, la doctoresse V._, spécialiste en psychiatrie, a retenu une incapacité de travail totale dès le 24 septembre 1999, en raison d'une réaction à un facteur de stress important avec réaction dépressive profonde et d'une personnalité émotionnellement labile (rapports des 22 octobre et 17 novembre 1999). Suite au dépôt par l'assuré (le 9 mars 1999) d'une nouvelle demande de rente d'invalidité, l'Office AI lui a reconnu, le droit à un quart de rente dès le mois de décembre 1999 et à une demi-rente à partir de février 2000 (décision du 2 mars 2000), ainsi qu'à une rente entière dès avril 2000 (décision du 4 avril 2000). L'Office AI a considéré que si l'état de santé physique de l'assuré était resté stable, ce dernier présentait une affection psychique le rendant totalement incapable de travailler.
A partir du 26 avril 1999, il a présenté une incapacité de travail totale attestée par le docteur H._, spécialiste en maladies rhumatismales, attribuable aux affections somatiques précédentes et à un syndrome somatoforme douloureux (rapport du 2 novembre 1999). Pour sa part, la doctoresse V._, spécialiste en psychiatrie, a retenu une incapacité de travail totale dès le 24 septembre 1999, en raison d'une réaction à un facteur de stress important avec réaction dépressive profonde et d'une personnalité émotionnellement labile (rapports des 22 octobre et 17 novembre 1999). Suite au dépôt par l'assuré (le 9 mars 1999) d'une nouvelle demande de rente d'invalidité, l'Office AI lui a reconnu, le droit à un quart de rente dès le mois de décembre 1999 et à une demi-rente à partir de février 2000 (décision du 2 mars 2000), ainsi qu'à une rente entière dès avril 2000 (décision du 4 avril 2000). L'Office AI a considéré que si l'état de santé physique de l'assuré était resté stable, ce dernier présentait une affection psychique le rendant totalement incapable de travailler.
B. Après avoir requis, sans succès, l'octroi d'une rente d'invalidité de la caisse de pensions et de la fondation, C._ a ouvert action devant le Tribunal administratif, en concluant à la condamnation de l'une et l'autre de ces institutions au paiement d'une rente entière d'invalidité, dont le montant est à déterminer, dès l'échéance du délai de carence, avec intérêts à 5 % à compter du dépôt de la demande, sous suite de dépens.
Par jugement du 23 septembre 2003, la juridiction cantonale a statué ce qui suit:
«1. Rejette la demande dirigée contre la Fondation institution supplétive LPP.
2. Admet la demande dirigée contre la Caisse de pensions de l'Etat de Neuchâtel en ce sens qu'il est constaté que celle-ci doit verser à C._ une pension d'invalidité d'un montant et à partir de la date qu'il lui appartiendra de déterminer.
3. Statue sans frais.
4. Alloue à C._ une indemnité de 800 fr., à charge de la caisse de pensions».
4. Alloue à C._ une indemnité de 800 fr., à charge de la caisse de pensions».
C. C._ interjette recours de droit administratif contre ce jugement en concluant, sous suite de frais et dépens, à ce qu'il plaise au Tribunal fédéral des assurances, principalement, de «casser la décision dont est recours en son chiffre 1 et 4 en ce qu'elle rejette la demande dirigée contre la Fondation institution supplétive LPP et n'octroie pas de dépens au recourant à charge de cette Fondation» et, subsidiairement, de renvoyer la cause à l'autorité inférieure pour complément d'instruction au sens des considérants.
Dans sa réponse du 12 novembre 2003, la fondation conclut au rejet du recours en exposant, notamment, que dès l'instant où l'assuré n'a pas recouru contre la décision de l'office AI fixant le début de l'incapacité totale au 24 septembre 1999, cette date est également déterminante pour situer le début de son incapacité de travail dans le cadre de la prévoyance professionnelle. Or, à cette époque, C._ était employé de l'Etat de Neuchâtel, de sorte qu'il appartient à la caisse de pensions du personnel de l'Etat de Neuchâtel de prendre en charge les prestations d'invalidité que le prénommé peut prétendre.
Par écriture du 6 janvier 2004, la caisse de pensions déclare confirmer, sans autres commentaires, la position qu'elle avait défendue devant le Tribunal administratif. L'Office fédéral des assurances sociales a déclaré qu'il renonçait à se déterminer dès lors que le litige porte sur l'appréciation des faits et non sur une question de droit.

Considérant en droit:
Considérant en droit:
1. La contestation ici en cause relève des autorités juridictionnelles mentionnées à l'<ref-law>, tant du point de vue de la compétence ratione temporis que de celui de la compétence ratione materiae (<ref-ruling> consid. 1.1, 112 consid. 3.1.2, 128 II 389 consid. 2.1.1, 128 V 258 consid. 2a, 120 V 18 consid. 1a et les références), et le recours de droit administratif est recevable de ce chef.
1. La contestation ici en cause relève des autorités juridictionnelles mentionnées à l'<ref-law>, tant du point de vue de la compétence ratione temporis que de celui de la compétence ratione materiae (<ref-ruling> consid. 1.1, 112 consid. 3.1.2, 128 II 389 consid. 2.1.1, 128 V 258 consid. 2a, 120 V 18 consid. 1a et les références), et le recours de droit administratif est recevable de ce chef.
2. Au vu des conclusions du recourant, il semble que celui-ci demande à être mis au bénéfice de deux rentes entières d'invalidité de la part des deux institutions de prévoyance professionnelle en cause, à raison de ses affections psychiques. A priori, ces conclusions s'excluent entre elles, car, en réalité, la seule question qui se pose dans le cadre de ce litige est celle de savoir laquelle des deux institutions doit lui allouer une rente d'invalidité.
2. Au vu des conclusions du recourant, il semble que celui-ci demande à être mis au bénéfice de deux rentes entières d'invalidité de la part des deux institutions de prévoyance professionnelle en cause, à raison de ses affections psychiques. A priori, ces conclusions s'excluent entre elles, car, en réalité, la seule question qui se pose dans le cadre de ce litige est celle de savoir laquelle des deux institutions doit lui allouer une rente d'invalidité.
3. 3.1 En vertu de l'<ref-law>, ont droit aux prestations d'invalidité les personnes qui sont invalides à raison de 50 % au moins, au sens de l'assurance-invalidité, et qui étaient assurées lorsqu'est survenue l'incapacité de travail dont la cause est à l'origine de l'invalidité. Selon l'<ref-law>, l'assuré a droit à une rente entière d'invalidité s'il est invalide à raison des deux tiers au moins, au sens de l'assurance-invalidité, et à une demi-rente s'il est invalide à raison de 50 % au moins.
3.2 Selon la jurisprudence, l'événement assuré au sens de l'<ref-law> est uniquement la survenance d'une incapacité de travail d'une certaine importance, indépendamment du point de savoir à partir de quel moment et dans quelle mesure un droit à une prestation d'invalidité est né. La qualité d'assuré doit exister au moment de la survenance de l'incapacité de travail, mais pas nécessairement lors de l'apparition ou de l'aggravation de l'invalidité (<ref-ruling> consid 1a, 118 V 45 consid. 5).
3.3 L'<ref-law> a aussi pour but de délimiter les responsabilités entre institutions de prévoyance, lorsque le travailleur, déjà atteint dans sa santé dans une mesure propre à influer sur sa capacité de travail, entre au service d'un nouvel employeur (en changeant en même temps d'institution de prévoyance) et est mis au bénéfice, ultérieurement, d'une rente de l'assurance-invalidité : le droit aux prestations ne découle pas du nouveau rapport de prévoyance; les prestations d'invalidité sont dues par l'ancienne institution, auprès de laquelle l'intéressé était assuré lorsque est survenue l'incapacité de travail à l'origine de l'invalidité.
Cependant, pour que l'ancienne institution de prévoyance reste tenue à prestations, il faut non seulement que l'incapacité de travail ait débuté à une époque où l'assuré lui était affilié, mais encore qu'il existe entre cette incapacité de travail et l'invalidité une relation d'étroite connexité; dans ce cas seulement, la nouvelle institution est libérée de toute obligation de verser une rente. La connexité doit être à la fois matérielle et temporelle. Il y a connexité matérielle si l'affection à l'origine de l'invalidité est la même que celle qui s'est déjà manifestée durant l'affiliation à la précédente institution de prévoyance (et qui a entraîné une incapacité de travail). La connexité temporelle implique qu'il ne se soit pas écoulé une longue interruption de l'incapacité de travail; elle est rompue si, pendant une certaine période, l'assuré est à nouveau apte à travailler (<ref-ruling> consid. 1c, 120 V 117 consid. 2c/aa).
3.4 Conformément à l'<ref-law>, les dispositions de la LAI (<ref-law>) s'appliquent par analogie à la naissance du droit aux prestations d'invalidité. Si une institution de prévoyance reprend - explicitement ou par renvoi - la définition de l'invalidité dans l'assurance-invalidité, elle est en principe liée, lors de la survenance du fait assuré, par l'estimation de l'invalidité des organes de l'assurance-invalidité, sauf lorsque cette estimation apparaît d'emblée insoutenable (<ref-ruling> consid. 1 in fine). Cette force contraignante vaut non seulement pour la fixation du degré d'invalidité (<ref-ruling>), mais également pour la détermination du moment à partir duquel la capacité de travail de l'assuré s'est détériorée de manière sensible et durable (<ref-ruling> consid. 2a et les références citées).
Cependant, dans un arrêt récent (<ref-ruling>), le Tribunal fédéral des assurances a précisé que l'office AI est tenu de notifier d'office une décision de rente à toutes les institutions de prévoyance entrant en considération. Lorsqu'il n'est pas intégré à la procédure, l'assureur LPP - qui dispose d'un droit de recours propre dans les procédures régies par la LAI - n'est pas lié par l'évaluation de l'invalidité (principe, taux et début du droit) à laquelle ont procédé les organes de l'assurance-invalidité.
Cependant, dans un arrêt récent (<ref-ruling>), le Tribunal fédéral des assurances a précisé que l'office AI est tenu de notifier d'office une décision de rente à toutes les institutions de prévoyance entrant en considération. Lorsqu'il n'est pas intégré à la procédure, l'assureur LPP - qui dispose d'un droit de recours propre dans les procédures régies par la LAI - n'est pas lié par l'évaluation de l'invalidité (principe, taux et début du droit) à laquelle ont procédé les organes de l'assurance-invalidité.
3.5 3.5.1 L'assurance obligatoire commence en même temps que les rapports de travail; pour les bénéficiaires d'indemnités journalières de l'assurance-chômage, elle commence le jour où ils perçoivent pour la première fois une indemnité de chômage (<ref-law>). L'obligation d'être assuré cesse notamment en cas de dissolution des rapports de travail ou quand le versement des indemnités journalières de l'assurance-chômage est suspendu (<ref-law>).
Le moment de la dissolution des rapports de travail est celui où, juridiquement, les rapports de travail ont pris fin, conformément aux règles des <ref-law>, c'est-à-dire en principe à l'expiration du délai légal ou contractuel de congé. Peu importe la date à laquelle le travailleur, effectivement, a quitté l'entreprise (<ref-ruling> consid. 2b et les références de jurisprudence et de doctrine).
3.5.2 En l'espèce, les décisions d'octroi d'un quart de rente (dès décembre 1999), d'une demi-rente (dès février 2000) et d'une rente entière de l'assurance-invalidité à partir d'avril 2000 n'ont été notifiées ni à la fondation, ni à la caisse de pensions. Celles-ci ne sont donc pas liées par la fixation par les organes de l'assurance-invalidité du moment de la survenance de l'incapacité de travail d'une certaine importance. Le recourant soutient, pour sa part, que l'incapacité de travail a débuté le 26 avril 1999.
3.5.3 Dans son rapport du 2 novembre 1999 (faisant état d'une incapacité de travail totale depuis le 26 avril 1999), le docteur H._ a précisé qu'il n'y avait pas d'évolution du point de vue organique mais que l'assuré a développé des troubles psychiatriques invalidants sévères depuis septembre 1997, compte tenu desquels le psychiatre lui a reconnu une incapacité de gain dans son évaluation de juillet 1997 en raison d'un trouble somatoforme douloureux. La juridiction cantonale a exposé de façon convaincante que seule une méprise peut expliquer les dates mentionnées par le docteur H._ et qu'en réalité ce médecin fait référence à la prise en charge de l'assuré sur le plan psychique par la doctoresse V._, en 1999, et à son évaluation du 27 juillet 1999 dans laquelle cette spécialiste en psychiatrie a posé (pour la première fois) le diagnostic de trouble somatoforme douloureux. Ce n'est d'ailleurs qu'à partir du 24 septembre 1999, que la nouvelle affection psychique diagnostiquée par cette doctoresse (réaction à un facteur de stress important avec réaction dépressive profonde et personnalité émotionnellement labile) a été considérée comme justifiant une incapacité de travail de 100 % (rapport du 17 novembre 1999).
3.5.4 Le recourant ne soutient d'ailleurs pas que l'affection psychique remonte à 1997. En revanche il tente de faire accréditer la thèse qu'elle était déjà présente le 26 avril 1999, dès lors que le docteur H._ avait fait état d'une incapacité totale de travail à partir de cette date, dont le 20 %, seulement, était attribuable aux troubles somatiques. Or, non seulement le docteur H._ n'est-il pas un spécialiste en psychiatrie, mais encore la doctoresse V._ n'a-t-elle diagnostiqué une affection psychique susceptible d'entraîner une incapacité de travail qu'en septembre 1999, quand bien même elle avait déjà examiné l'assuré à au moins deux reprises. De surcroît, aucune incapacité de travail n'est attestée pour des troubles psychiques du 26 novembre 1997 au 25 mai 1999, période pendant laquelle l'intéressé a bénéficié des indemnités journalières de l'assurance-chômage. Force est dès lors de constater que la survenance de l'incapacité totale de travail du recourant remonte au 24 septembre 1999, au plus tôt.
3.6 En l'espèce, l'incapacité de travail est survenue alors que le recourant était au service de l'Etat de Neuchâtel, soit avant l'échéance, le 5 octobre 1999, du contrat de travail de durée déterminée, de sorte que c'est à la caisse de pensions de l'Etat de Neuchâtel qu'il incombe de verser les prestations d'invalidité auxquelles l'assuré a droit, quand bien même ce dernier a cessé de travailler le 26 avril 1999. Il n'en irait autrement que dans l'hypothèse où l'incapacité de travail aurait débuté à une époque où le recourant était affilié à une autre institution et si l'affection à l'origine de l'invalidité était la même que celle qui est déjà survenue durant l'affiliation à cette institution. Or, les premiers juges ont retenu, à raison, qu'il n'y avait aucune connexité matérielle entre l'affection à l'origine de l'invalidité de l'assuré (attribuable à l'affection psychique) et celle qui s'est manifestée durant l'affiliation à la précédente institution (entièrement attribuable aux troubles physiques).
3.7 Par ailleurs, il n'y a pas lieu de mettre en oeuvre une instruction complémentaire, dès lors que les renseignements médicaux sur l'état de santé du recourant sont suffisants et que le dossier contient les éléments nécessaires pour statuer en toute connaissance de cause.
Sur le vu de ce qui précède, le recours est mal fondé.

Par ces motifs, le Tribunal fédéral des assurances prononce:
Par ces motifs, le Tribunal fédéral des assurances prononce:
1. Le recours est rejeté.
1. Le recours est rejeté.
2. Il n'est pas perçu de frais de justice.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal administratif du canton de Neuchâtel, à la Caisse de pensions de l'Etat de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 2 septembre 2004
Au nom du Tribunal fédéral des assurances
Le Président de la IIe Chambre: La Greffière: