Faits: A. S._, sans formation professionnelle, est arrivé en Suisse en 1989, où il a travaillé en tant que manoeuvre dans la maçonnerie. Depuis 1992, il est au bénéfice d'un permis de grutier. A partir du 1er mars 2000, il a été engagé en qualité de grutier A par l'entreprise X._ SA. A l'arrêt de travail de manière continue depuis le 24 septembre 2004, il a présenté le 14 avril 2005 une demande de prestations de l'assurance-invalidité, en requérant un reclassement dans une nouvelle profession. Dans un rapport du 4 mai 2005, le docteur V._, médecin généraliste, a posé les diagnostics ayant des répercussions sur la capacité de travail de troubles somatoformes douloureux existant depuis 2003, de tendinite de la coiffe des rotateurs de l'épaule gauche existant depuis février 2004 et de déchirures des ménisques gauches et droits existant depuis 1992. Il indiquait que l'activité exercée jusque-là n'était plus exigible et préconisait une réadaptation professionnelle, par exemple dans l'horlogerie ou l'informatique. Dans un rapport du 7 juin 2005, le docteur D._, spécialiste FMH en chirurgie orthopédique, a conclu que les examens rhumatologiques n'avaient pas permis de mettre en évidence autre chose que des troubles somatoformes ou de postuler l'existence d'une fibromyalgie; objectivement il y avait bel et bien des lésions des ménisques qui justifiaient en tout cas à gauche un deuxième geste arthroscopique thérapeutique. Il relevait l'absence de signe objectif d'une affection somatique chez un patient où la pathologie anamnestiquement lui paraissait cohérente. Le docteur E._, spécialiste FMH en psychiatrie et psychothérapie, a effectué une expertise psychiatrique pour l'assureur perte de gain de l'employeur. Dans un rapport du 15 août 2005, ce médecin et la psychologue - psychothérapeute C._ ont posé le diagnostic selon le DSM-IV-TR de trouble somatoforme indifférencié chez une personnalité à traits passifs-dépendants. Relevant qu'il n'y avait pas de comorbidité psychiatrique au trouble somatoforme indifférencié et qu'il s'agissait ici non d'un trouble majeur de la personnalité, mais d'un trait de fonctionnement, qui n'était pas assimilable de près ou de loin à une atteinte à la santé mentale, ils ont considéré que d'un point de vue psychiatrique, la capacité de travail était de 100 % dans toute activité adaptée aux éventuels problèmes somatiques dès le 1er août 2005. A la suite d'un stage d'observation professionnelle effectué entre le 30 avril et le 16 mai 2007, S._ a bénéficié de la prise en charge par l'assurance-invalidité des coûts d'une formation dans le domaine de la mécanique industrielle acquise du 4 juin au 21 décembre 2007 et de l'électrotechnique industrielle acquise du 7 janvier au 11 juillet 2008 dans le cadre du Centre Neuchâtelois d'Intégration Professionnelle (CNIP). Les docteurs P._, spécialiste FMH en médecine interne - rhumatologie, M._, spécialiste FMH en chirurgie orthopédique et traumatologie de l'appareil moteur, et H._, médecin-chef du Service de médecine physique et réadaptation de l'Hôpital Y._, ont consigné leur appréciation dans des documents datés respectivement du 10 décembre 2007, 12 et 7 février 2008. Le docteur T._, spécialiste FMH en médecine générale et médecin traitant de l'assuré, a posé les diagnostics ayant des répercussions sur la capacité de travail d'arthrose des genoux - status après déchirures des ménisques gauches et droits (existant depuis 1992) - status après intervention pour lésions méniscales sur genou gauche en 1995 et 2004 et à droite en 1996, de douleurs scapulaires gauches existant depuis février 2004 probablement en rapport avec une tendinite de la coiffe des rotateurs et de douleurs polyarticulaires (épaule, métacarpo-phalangienne 2 à 5, inter phalangien 2 à 5 de la main droite, hanche gauche) d'étiologie indéterminée, probablement dans un contexte de syndrome douloureux chronique (rapport du 8 avril 2008). Par décision du 21 janvier 2009, l'Office de l'assurance-invalidité du canton de Neuchâtel a refusé d'allouer à S._ une rente d'invalidité, au motif qu'il était en mesure de travailler à 100 % dans le domaine de la mécanique et de l'électrotechnique industrielle et pourrait ainsi réaliser un revenu d'invalide de l'ordre de 57'335 fr. par année (valeur 2008) et que la comparaison des revenus, compte tenu d'un revenu sans invalidité de 69'056 fr. par année (valeur 2008), donnait une invalidité de 17 %, taux qui ne conférait aucun droit à une rente. B. Le 20 février 2009, S._ a formé recours contre cette décision devant le Tribunal administratif de la République et canton de Neuchâtel, en concluant, sous suite de dépens, à son annulation, la cause étant renvoyée à l'office AI pour nouvelle décision au sens des considérants. Il a produit une lettre du docteur D._ du 18 mai 2009 indiquant que le patient avait subi une arthroscopie du genou gauche. Par jugement du 13 août 2009, le Tribunal administratif a rejeté le recours. C. S._ interjette un recours en matière de droit public contre ce jugement, en concluant, sous suite de frais et dépens, à son annulation, la cause étant renvoyée à l'autorité précédente pour qu'une expertise pluridisciplinaire soit ordonnée. A titre subsidiaire, il demande que le dossier soit renvoyé à l'instance inférieure et que le Tribunal fédéral lui ordonne d'examiner la possibilité d'accorder des mesures d'ordre professionnel, par exemple sous la forme d'un reclassement professionnel.