Faits:
A. A.a S._, né en 1959, a oeuvré en qualité de travailleur dans le bâtiment auprès de l'entreprise X._ SA. A ce titre, il était assuré par la Caisse nationale suisse d'assurance en cas d'accidents (CNA) pour les accidents professionnels et non professionnels.
Le 28 septembre 1992, S._ était occupé à décharger du matériel sur le pont d'un camion, lorsqu'il a glissé et qu'il est tombé sur l'épaule droite.
Par décision du 10 octobre 2000, confirmée sur opposition par décision du 4 décembre 2001, la CNA a alloué à S._ une rente d'invalidité à partir du 1er mai 1999 pour une incapacité de gain de 15 % et une indemnité pour atteinte à l'intégrité de 25 %. Par jugement du 4 juillet 2003, le Tribunal administratif de la République et canton de Neuchâtel a rejeté le recours formé par celui-ci contre la décision sur opposition du 4 décembre 2001.
A.b Le 26 octobre 1993, S._ a présenté une demande de prestations de l'assurance-invalidité.
Dans un rapport médical du 20 septembre 1994, les médecins de l'Hôpital Z._ ont indiqué qu'une reprise du travail comme manoeuvre de chantier n'était plus envisageable. Une réadaptation professionnelle devait être envisagée.
A la suite d'un stage d'observation en août 1995, S._ a été mis au bénéfice d'un reclassement professionnel, comportant en 1996 un soutien en mathématiques et langue française et entre le 5 mai 1997 et le 30 avril 1999 une formation pratique de monteur en assortiments électroniques auprès du Centre neuchâtelois d'intégration professionnelle (CNIP) de Y._.
Le 7 avril 1999, l'Office de l'assurance-invalidité du canton de Neuchâtel a effectué pour le compte de S._ une offre de services auprès de W._ SA, à T._, comme monteur en assortiments électroniques à plein temps. Un stage en entreprise prévu du 19 au 30 avril 1999 s'est soldé par un échec.
Le 9 juillet 1999, l'office AI a informé S._ qu'il présentait une invalidité inférieure à 40 %, taux n'ouvrant pas droit à une rente de l'assurance-invalidité. Dans la comparaison des revenus, il se fondait sur un revenu annuel sans invalidité de 60'000 fr., alors que le revenu d'invalide était fixé à 49'400 fr. par année (3'800 fr. x 13), le salaire mensuel de 3'800 fr. étant celui que l'entreprise W._ SA aurait offert à l'assuré si celui-ci avait terminé son stage.
Dans une lettre du 31 octobre 2001, S._ a relancé l'assurance-invalidité. Il produisait un rapport médical du 13 septembre 2001 du docteur B._, spécialiste FMH en médecine interne et rhumatologique, selon lequel sur le plan rhumatologique et orthopédique le patient était au-delà de toute ressource thérapeutique, la problématique actuelle étant de nature psychiatrique.
L'office AI a confié une expertise au docteur E._, spécialiste FMH en psychiatrie et psychothérapie et médecin du Centre médical de psychothérapie cognitive à U._. Dans un rapport du 22 novembre 2002, le docteur E._ et la psychologue C._ ont retenu que S._ souffrait de dysthymie associée à un trouble douloureux, lequel était associé à la fois à des facteurs psychologiques et à une affection médicale générale de gravité légère sans trouble de la personnalité comorbide. Compte tenu de l'ensemble de ces troubles, l'assuré présentait, d'un point de vue strictement psychiatrique, une capacité de travail diminuée de 25 % au maximum dans une activité adaptée.
Par décision du 6 juin 2003, l'office AI a refusé toute rente d'invalidité, au motif qu'il ressortait de l'expertise psychiatrique du 22 novembre 2002 que l'assuré présentait une capacité de travail de 75 % dans une activité adaptée, ce qui corroborait l'évaluation de son invalidité sur la base d'un revenu d'invalide de 41'990 fr. (49'400 fr. par année, moins une réduction de 15 % tenant compte de ses limitations) et d'un revenu sans invalidité de 57'000 fr.
S._ a formé opposition contre cette décision.
Par décision du 17 octobre 2003, l'office AI a rejeté l'opposition.
B. S._ a formé recours contre cette décision devant le Tribunal administratif de la République et canton de Neuchâtel, en concluant, sous suite de frais et dépens, à l'annulation de celle-ci et au renvoi du dossier à l'office AI pour complément d'instruction et nouvelle expertise. Il produisait une demande d'examen spécialisé formulée le 28 mars 2003 par le docteur G._, généraliste, un avis médical du 21 août 2003 de la doctoresse H._, psychiatre, ainsi qu'une lettre d'admission à l'Hôpital V._ pour le 17 novembre 2003.
Par jugement du 21 mars 2006, le Tribunal administratif a annulé la décision sur opposition du 17 octobre 2003, la cause étant renvoyée à l'office AI pour instruction complémentaire et nouvelle décision au sens des considérants. En bref, il appartenait à l'office AI de déterminer l'invalidité économique résultant des troubles physiques et psychiques, en procédant à une comparaison des revenus plus précise que celle effectuée dans la décision entreprise, qui tienne compte d'une diminution de 25 % de la capacité de travail sur le plan psychique.
C. L'Office de l'assurance-invalidité du canton de Neuchâtel a interjeté un recours de droit administratif contre ce jugement, en concluant à l'annulation de celui-ci.
S._ a conclu, sous suite de dépens, au rejet du recours. Dans un préavis du 31 août 2006, l'Office fédéral des assurances sociales a proposé l'admission du recours.

Considérant en droit:
1. 1.1 La loi fédérale sur le Tribunal fédéral du 17 juin 2005 (LTF; RS 173.110) est entrée en vigueur le 1er janvier 2007 (RO 2006 1205, 1242). L' acte attaqué ayant été rendu avant cette date, la procédure reste régie par l'OJ (<ref-law>; <ref-ruling> consid. 1.2 p. 395).
1.2 La loi fédérale du 16 décembre 2005 modifiant la loi fédérale sur l'assurance-invalidité est entrée en vigueur le 1er juillet 2006 (RO 2006 2003), apportant des modifications qui concernent notamment la procédure conduite devant le Tribunal de céans (art. 132 al. 2 et 134 OJ). Toutefois, le présent cas n'est pas soumis au nouveau droit, du moment que le recours de droit administratif a été formé avant le 1er juillet 2006 (ch. II let. c des dispositions transitoires relatives à la modification du 16 décembre 2005).
2. Il est établi que l'intimé présente une capacité résiduelle de travail de 75 % dans une activité adaptée. Les premiers juges ont rejeté les griefs reprochant à l'office AI une instruction lacunaire. Suivant les conclusions des docteurs B._ et M._, ils ont retenu que l'assuré, malgré ses problèmes physiques, était apte à travailler à 100 % dans une activité adaptée. Rejetant également ses griefs en ce qui concerne l'expertise du docteur E._ du 22 novembre 2002, ils ont retenu une diminution de la capacité de travail de 25 % pour les problèmes d'ordre psychique, se ralliant ainsi aux conclusions de ce spécialiste. A juste titre, cela n'est pas remis en cause devant la Cour de céans.
3. Le litige a pour objet le renvoi de la cause à l'office AI pour instruction complémentaire sur l'invalidité économique résultant des troubles physiques et psychiques; singulièrement, il porte sur la détermination du revenu d'invalide.
3.1 Les griefs que la juridiction cantonale a formulés à l'encontre de l'office AI ne justifiaient pas une instruction complémentaire d'ordre médical. En effet, le dossier est complet sur ce point, le juge appréciant la légalité de la décision attaquée d'après l'état de fait existant au moment de la décision sur opposition du 17 octobre 2003 (<ref-ruling> consid. 1b p. 366 et la référence). Or, les faits pertinents ont été établis à satisfaction (supra, consid. 2).
3.2 En ce qui concerne le revenu d'invalide, les premiers juges ont considéré qu'il était vraisemblablement plus judicieux de s'en tenir aux données salariales résultant des enquêtes sur la structure des salaires (ESS) de l'Office fédéral de la statistique, lorsque l'assuré n'a repris, après la survenance de l'atteinte à sa santé, aucune activité lucrative du tout ou aucune activité lucrative pouvant être raisonnablement attendue de lui. Les valeurs données par ces statistiques étaient selon eux certainement plus représentatives de la réalité que le salaire proposé par une seule entreprise, soit W._ SA, à l'issue du stage effectué par l'intimé. C'est pourquoi l'office AI devait encore déterminer si une réduction du salaire ainsi obtenu s'imposait, eu égard aux limitations liées au handicap.
3.3 Selon le recourant, un renvoi pour instruction complémentaire ne se justifie pas. Se référant à un arrêt I 171/04 du 1er avril 2005, l'office AI est de l'avis qu'il n'y aurait aucun sens, lorsqu'un assuré est réadapté avec succès dans une nouvelle profession, de se référer aux valeurs statistiques, d'autant moins que celles-ci sont établies par branche d'activité et non par profession. Etant donné que l'intimé a bénéficié d'un reclassement dans la profession de monteur électronique et qu'il aurait même pu être engagé par l'entreprise W._ SA et tant que monteur en assortiments électroniques à plein temps avec un salaire de 49'400 fr. par an (3'800 fr. x 13), calculer le revenu d'invalide sur la base des données salariales résultant de l'ESS revient à se fonder sur un revenu théorique, ce qui ne se justifie pas lorsque, comme en l'espèce, on est en possession de données concrètes plus précises.
3.4 Le point de savoir s'il convient de calculer le revenu d'invalide plutôt sur la base des données salariales résultant de l'ESS que du revenu que l'intimé aurait pu réaliser auprès de W._ SA s'il avait été engagé par cette entreprise peut toutefois demeurer indécis. En effet, dans les deux cas, la comparaison des revenus donne une invalidité inférieure à 40 %, ainsi qu'on va le voir ci-dessous.
3.4.1 Si l'on se fonde sur les données statistiques, le salaire de référence est celui auquel peuvent prétendre les hommes effectuant des activités simples et répétitives dans le secteur privé (RAMA 2001 n° U 439 p. 347), à savoir 4'437 fr. par mois (tous secteurs confondus) - valeur en 2000 - part au 13ème salaire comprise (L'Enquête suisse sur la structure des salaires 2000, p. 31, Tableau TA1, niveau de qualification 4), soit 53'244 fr. par année. Ce salaire hypothétique représente, compte tenu du fait que les salaires bruts standardisés se basent sur un horaire de travail de quarante heures, soit une durée hebdomadaire inférieure à la moyenne usuelle dans les entreprises en 2001 (41.7 heures; La Vie économique, 10-2005 p. 82, tabelle B9.2) un revenu annuel de 55'507 fr. (53'244 x 41.7 : 40). Adapté à l'évolution des salaires de l'année 2001 (2.5 %; Evolution des salaires en 2001, p. 31, Tableau T1.93), le revenu annuel s'élève à 56'895 fr. (valeur 2001). Etant donné que l'intimé avait lors de la décision sur opposition du 17 octobre 2003 une capacité résiduelle de travail de 75 % dans une activité adaptée (supra, consid. 2), il y a lieu de retenir un revenu annuel de 42'671 fr. Compte tenu des limitations liées au handicap, aux années de service et à la nationalité, une réduction de 15 % au plus apparaît justifiée (<ref-ruling> consid. 5b/aa-cc p. 79 s.; VSI 2002 p. 64 consid. 4b p. 70 [I 82/01]). Le revenu annuel d'invalide évalué sur la base des statistiques salariales est ainsi de 36'270 fr. (valeur 2001).
D'un autre côté, si l'on se fonde sur le revenu annuel de 49'400 fr. (3'800 fr. x 13) que l'intimé aurait pu réaliser en 1999 auprès de W._ SA s'il avait été engagé, il y a lieu d'adapter ce revenu à l'évolution des salaires des années 2000 (1.6 %) et 2001 (3.6 %; Evolution des salaires en 2001, p. 31, Tableau T1.93, 30-33 Fabr. d'équip. électr. et électron. de précision), ce qui donne un montant annuel de 51'997 fr. Etant donné que l'intimé avait au moment déterminant une capacité résiduelle de travail de 75 % dans une activité adaptée (supra, consid. 2), il en résulte un revenu d'invalide de 38'998 fr. (valeur 2001).
3.4.2 En ce qui concerne le revenu sans invalidité, l'intimé, s'il n'avait pas été atteint dans sa santé, aurait pu percevoir en 2001 auprès de PACI SA un salaire annuel de 57'000 fr. (salaire horaire de 24 fr. 92, plus 8.3 % de treizième salaire, pour une quantité d'heures annuelles de 2112; lettre de cette entreprise du 19 novembre 2001).
3.4.3 La comparaison des revenus donne une invalidité de 36 % ([57'000 - 36'270] x 100 : 57'000) si l'on se fonde sur un revenu d'invalide de 36'270 fr. (le taux de 36.36 % étant arrondi au pour cent inférieur [<ref-ruling> consid. 3.2 p. 122 s.; SVR 2004 UV Nr. 12 p. 44, U 173/02]), ou de 32 % ([57'000 - 38'998] x 100 : 57'000) si l'on se fonde sur un revenu d'invalide de 38'998 fr. (le taux de 31.58 % étant arrondi au pour cent supérieur [<ref-ruling> consid. 3.2 déjà cité p. 122 s.; SVR 2004 UV Nr. 12 p. 44]). Que ce soit le taux de 36 % ou celui de 32 %, aucun ne confère un droit à une rente d'invalidité (<ref-law>).
3.5 Attendu qu'il n'existe pas de motif de renvoi justifié, le jugement attaqué pourrait être assimilé à un déni de justice (DTA 2001 n° 22 consid. 2 p. 170 [C 206/00]).
4. La procédure est gratuite (art. 134 OJ). L'intimé, qui succombe, ne saurait prétendre une indemnité de dépens pour l'instance fédérale (art. 159 al. 1 en corrélation avec l'art. 135 OJ; <ref-ruling>).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est admis et le jugement du Tribunal administratif de la République et canton de Neuchâtel, du 21 mars 2006, est annulé.
2. Il n'est pas perçu de frais de justice.
3. Le présent arrêt sera communiqué aux parties, au Tribunal administratif de la République et canton de Neuchâtel et à l'Office fédéral des assurances sociales.
Lucerne, le 6 juin 2007
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: p. le Greffier: