Faits:
A. A.a C._ a travaillé dans la construction en bénéficiant d'engagements limités dans le temps, la dernière fois en qualité de maçon dans le cadre d'un contrat de travail d'une durée déterminée allant du 10 avril au 30 novembre 2007. Son médecin traitant, le docteur F._, l'a mis à l'arrêt de travail à partir du 7 mai 2007. Il a bénéficié d'indemnités journalières versées par Helsana Assurances SA jusqu'au 31 janvier 2008, puis du 1er février au 31 mai 2008 selon une transaction ratifiée par la Cour des assurances sociales du Tribunal cantonal du canton de Vaud dans un arrêt du 23 juillet 2009. Le 7 février 2008, il s'est inscrit à l'assurance-chômage. Par décision du 30 juin 2008, l'Office régional de placement l'a déclaré inapte au placement à compter du 7 février 2008.
A.b Le 17 décembre 2007, C._ a présenté une demande de prestations de l'assurance-invalidité, en requérant un reclassement dans une nouvelle profession. Le docteur W._, spécialiste FMH en médecine générale, a déposé ses conclusions dans un rapport du 20 février 2008, tout en relevant que le dernier examen remontait au 8 mai 2007 et qu'il n'avait pas revu le patient depuis le 9 mai 2007. Le docteur F._ en a fait de même dans un rapport du 1er mars 2008, en indiquant que le patient présentait une incapacité de travail de 100 % depuis le 7 mai 2007. Dans un rapport du 2 juillet 2008, le docteur L._, médecin SMR, s'est fondé sur le diagnostic de dorso-lombalgies chroniques sur troubles statiques, protrusion discale L5-S1 et dysbalances musculaires, tel que l'avait posé la doctoresse B._, médecin associé de l'Hôpital X._, dans un rapport du 18 juin 2007. Relevant que la doctoresse B._ avait effectué un nouveau bilan clinique le 26 juillet 2007 qui avait permis de confirmer dans un rapport du 27 juillet 2007 une amélioration de l'état de santé de l'assuré, il a conclu que la capacité de travail exigible était nulle dans l'activité de maçon depuis le 7 mai 2007 et de 100 % depuis le 28 juillet 2007 dans une activité adaptée aux limitations fonctionnelles, telles que décrites dans l'expertise du 11 décembre 2007 du centre Y._ effectuée pour le compte de l'assureur Helsana.
Dans un préavis du 7 août 2008, l'Office de l'assurance-invalidité pour le canton de Vaud a informé C._ qu'il présentait depuis le 28 juillet 2007 une capacité de travail exigible de 100 % dans une activité adaptée aux limitations fonctionnelles (sans soulèvement de charges sol-taille de plus de 15 kg, taille-hauteur de tête de plus de 10 kg, sans port en position horizontale de plus de 15 kg, sans travaux au-dessus de la tête, sans positions penchées en avant de plus de 25 minutes, sans position assise penchée en avant de plus de 3 heures par jour, sans rotations du tronc en position debout et assise, sans génuflexions répétées, sans montées sur une échelle, sans position debout immobile n'offrant aucune possibilité de changement) et depuis le 7 mai 2008 une invalidité de 5 %, taux ne donnant aucun droit à une rente. Le 19 août 2008, l'assuré a fait part à l'office AI de ses observations. Par décision du 29 octobre 2008, l'office AI, rejetant la demande, a refusé d'allouer à C._ une rente d'invalidité, tout en réfutant ses arguments dans un courrier séparé daté du même jour. Il l'informait que, sur demande expresse de sa part, l'assurance-invalidité serait prête à envisager la mise en place d'une aide au placement, pour autant qu'il soit prêt à mettre en valeur sa capacité de travail médicalement exigible de 100 % dans une activité adaptée.
B. Le 9 novembre 2008, C._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud (aujourd'hui: Tribunal cantonal du canton de Vaud, Cour des assurances sociales), en concluant, sous suite de frais et dépens, à l'octroi de l'assistance judiciaire gratuite et à l'octroi d'une rente d'invalidité, cas échéant au renvoi du dossier à l'OAI pour qu'il mette en oeuvre des mesures de réadaptation professionnelle et lui alloue une "rente temporaire" jusqu'à l'exécution avec succès de ces mesures. Par décision du 24 novembre 2008, le Bureau de l'assistance judiciaire du Service juridique et législatif du canton de Vaud lui a accordé le bénéfice de l'assistance judiciaire avec effet au 5 novembre 2008. L'octroi de l'assistance judiciaire était subordonné au paiement d'une contribution mensuelle de 50 fr. dès et y compris le 1er décembre 2008.
Dès le 14 septembre 2009, C._ a bénéficié d'un stage d'orientation au Centre de formation Z._, lequel a pris fin le 22 janvier 2010. Dans un rapport du 22 janvier 2010, le Centre Z._, sur un taux de présence de 100 % dans un travail ergonomiquement adapté, a évalué le rendement de l'assuré entre 60 et 70 %. Les parties ont déposé leurs observations, C._ dans une lettre du 26 janvier 2010 et l'office AI dans un préavis du 1er mars 2010.
Le 4 mars 2010, C._ a informé l'office AI que l'offre d'un règlement amiable de la procédure était toujours valable et qu'elle "permettrait d'éviter l'examen de la reconsidération, qui au besoin (était) ici formellement demandée". Le 17 mai 2010, la juridiction cantonale a tenu une audience de jugement, où les parties ont confirmé leurs conclusions et C._ a produit un préavis de l'office AI du 28 avril 2010 de refus de l'indemnité journalière durant le délai d'attente et une lettre de l'office AI du 28 avril 2010 déclarant ne pas entrer en matière sur la demande de reconsidération. Par arrêt daté du 17 mai 2010, notifié aux parties le 17 septembre 2010, la Cour des assurances sociales du Tribunal cantonal a rejeté le recours (ch. I du dispositif), confirmé la décision du 29 octobre 2008 de l'office AI (ch. II du dispositif) et mis à la charge de C._ les frais de justice par 250 fr. (ch. III du dispositif).
C. C._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci et de la décision administrative du 29 octobre 2008, ainsi qu'au renvoi du dossier à l'OAI "pour qu'il réexamine le droit aux prestations de l'AI (mesures de réadaptation, rente d'invalidité), conformément aux considérants". Il conclut également à l'annulation du jugement entrepris en ce qui concerne la perception de frais de justice, en demandant que la cause soit renvoyée à l'autorité judiciaire de première instance pour fixation et règlement des honoraires de son mandataire. Il sollicite l'octroi de l'assistance judiciaire gratuite.
Donnant suite à une ordonnance du Tribunal fédéral du 3 novembre 2010, la juridiction cantonale, par lettre du 5 novembre 2010, a déposé ses observations à propos des griefs de C._ relatifs à la perception de frais de justice et au droit de l'avocat d'office à une indemnité. Produisant une lettre du 13 octobre 2010 du mandataire de C._ informant la Cour des assurances sociales du Tribunal cantonal qu'il renonçait à une indemnité de conseil d'office, elle avisait la Cour de céans qu'elle avait pris acte de cette déclaration et qu'il n'y avait pas lieu de rendre une décision séparée à ce sujet. L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.

Considérant en droit:
1. Le recours interjeté céans est formé pour violation du droit fédéral (<ref-law>) - incluant les droits fondamentaux - et est dirigé contre une décision finale (<ref-law>) rendue en dernière instance cantonale (art. 86 al. 1 let. d LTF) dans une cause de droit public (<ref-law>), sans qu'une des exceptions prévues à l'<ref-law> soit réalisée. La voie du recours en matière de droit public est ainsi ouverte. Il s'ensuit que le recours constitutionnel subsidiaire est irrecevable (<ref-law>).
2. 2.1 Le Tribunal fédéral statue en principe sur la base des faits établis par l'autorité précédente (<ref-law>), sous réserve des cas prévus à l'<ref-law>. Le recourant ne peut critiquer la constatation de faits importants pour le jugement en cause que si ceux-ci ont été établis en violation du droit au sens de l'<ref-law> ou de manière manifestement inexacte (<ref-law>), c'est-à-dire insoutenable, voire arbitraire, et si la correction du vice est susceptible d'influer sur le sort de la cause. La violation peut consister en un état de fait incomplet, car l'autorité précédente viole le droit matériel en n'établissant pas tous les faits pertinents pour l'application de celui-ci. L'appréciation des preuves est arbitraire lorsqu'elle est manifestement insoutenable, en contradiction avec le dossier, ou contraire au sens de la justice et de l'équité ou lorsque l'autorité ne tient pas compte, sans raison sérieuse, d'un élément propre à modifier la décision, se trompe sur le sens et la portée de celui-ci ou, se fondant sur les éléments recueillis, en tire des constatations insoutenables (<ref-ruling> consid. 4.3 p. 62 et les références). Il appartient au recourant de démontrer le caractère insoutenable ou arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2, respectivement de l'<ref-law> (<ref-ruling> consid. 1.6 p. 130 et l'arrêt cité, 134 II 244 consid. 2.2 p. 246, 133 II 249 consid. 1.4.3 p. 254 s.).
2.2 Toute conclusion nouvelle est irrecevable (<ref-law>). Par rapport aux dernières conclusions prises par le recourant devant l'autorité précédente tendant à l'octroi d'une rente d'invalidité, cas échéant au renvoi du dossier à l'OAI pour qu'il mette en oeuvre des mesures de réadaptation professionnelle et lui alloue une "rente temporaire" jusqu'à l'exécution avec succès de ces mesures, la conclusion du recourant tendant au renvoi du dossier à l'OAI "pour qu'il réexamine le droit aux prestations de l'AI (mesures de réadaptation, rente d'invalidité), conformément aux considérants" est nouvelle (<ref-ruling> consid. 4.2 p. 367 et les références) et selon l'<ref-law> irrecevable.
2.3 Les principes relatifs au pouvoir d'examen développés dans l'<ref-ruling> consid. 3 p. 397 s. continuent à s'appliquer pour distinguer les constatations de fait de l'autorité précédente (qui lient en principe le Tribunal fédéral) de l'application du droit par cette dernière (question qui peut être examinée librement en instance fédérale). Conformément à ces principes, les constatations de l'autorité cantonale de recours sur l'atteinte à la santé, la capacité de travail de l'assuré et l'exigibilité - dans la mesure où elle dépend d'une évaluation de la personne concrète, de son état de santé et de ses capacités fonctionnelles - relèvent d'une question de fait et ne peuvent être contrôlées que sous un angle restreint (<ref-ruling> consid. 3.2 p. 398).
3. La juridiction cantonale a étendu l'objet de la contestation, déterminé par la décision de refus de rente d'invalidité du 29 octobre 2008, aux dernières conclusions prises par le recourant devant l'autorité précédente portant sur l'octroi de mesures d'ordre professionnel et l'octroi d'une "rente temporaire". En revanche, elle ne s'est pas saisie de la question des indemnités journalières d'attente, puisque celle-ci était l'objet d'un préavis de l'office AI du 28 avril 2010.
3.1 Dans sa lettre du 28 avril 2010, l'office AI a déclaré ne pas entrer en matière sur la demande de reconsidération présentée par le recourant le 4 mars 2010. De son côté, l'autorité précédente a considéré que le refus d'entrer en matière sur une demande de reconsidération n'était pas susceptible de recours. Quoi qu'en dise le recourant, sa lettre du 4 mars 2010, même interprétée comme une demande de révision, a trait à la décision de l'office AI du 29 octobre 2008, contre laquelle celui-ci a formé recours le 9 novembre 2008, qui n'était donc pas formellement passée en force, de sorte que les conditions d'une révision ou d'une reconsidération n'étaient pas remplies (art. 53 al. 1 et 2 LPGA).
3.2 Le jugement entrepris expose correctement les dispositions légales relatives aux notions d'incapacité de gain (art. 7 al. 1 et 2 LPGA depuis le 1er janvier 2008) et d'invalidité (<ref-law> et 8 al. 1 LPGA) et les règles et principes jurisprudentiels sur la valeur probante d'un rapport médical (<ref-ruling> consid. 3a p. 352). On peut ainsi y renvoyer.
4. La juridiction cantonale, relevant que les rapports médicaux étaient concordants en ce qui concerne la capacité de travail du recourant et le moment où une pleine capacité de travail dans une activité adaptée devait lui être reconnue, a retenu que le recourant présentait depuis le début de l'année 2008 une capacité de travail de 100 % dans une activité adaptée aux limitations fonctionnelles.
4.1 Elle a relevé que si les médecins dans leur ensemble reconnaissaient que la capacité de travail du recourant était nulle dans son activité antérieure de maçon, tous admettaient également qu'il disposait encore d'une capacité résiduelle de travail non négligeable dans une activité adaptée. Ainsi, l'expertise rhumatologique du 11 décembre 2007 du centre Y._ concluait à une pleine capacité de travail dans une activité adaptée, conclusions auxquelles s'était rallié le docteur F._ dans un rapport du 30 mai 2008 adressé au Service de l'emploi. Cela n'est pas discuté par le recourant.
4.2 L'autorité précédente a considéré que le fait que le Centre Z._, dans son rapport du 22 janvier 2010, avait évalué le rendement de l'assuré entre 60 et 70 % sur un taux de présence de 100 % dans un travail ergonomiquement adapté ne saurait modifier l'appréciation de la capacité de travail par les médecins. Réfutant l'affirmation du recourant selon laquelle il existait en permanence une perte de rendement dans une activité adaptée, elle a relevé que lors du stage d'orientation, divers types d'activités avaient été testés et qu'il était dès lors normal que le rendement soit dans un premier temps diminué, le recourant devant régulièrement changer et par conséquent s'adapter à de nouvelles tâches, et qu'il résultait du rapport de stage que le rendement pouvait être amélioré et qu'un rendement proche de la norme pourrait tout à fait être réalisable avec un peu plus de pratique et d'expérience. Cette motivation du jugement entrepris n'est pas discutée par le recourant, dont les déclarations relatives à la valeur probante du rapport du Centre Z._ du 22 janvier 2010 ne satisfont pas aux exigences de motivation de l'art. 42 al. 2, respectivement de l'<ref-law>.
4.3 Le recourant, se fondant sur le fait que l'Office régional de placement, dans une décision du 30 juin 2008, l'a déclaré inapte au placement à compter du 7 février 2008, reproche à la juridiction cantonale de n'avoir pas statué sur le point de savoir s'il est capable d'exercer une activité lucrative sur un marché du travail équilibré, violant ainsi l'interdiction de l'arbitraire. Toutefois, en reprenant, comme il le fait, son argumentation de première instance, le recourant ne démontre pas le caractère insoutenable ou arbitraire par une argumentation répondant aux exigences de l'art. 42 al. 2, respectivement de l'<ref-law> (supra, consid. 2.1). Même s'il invoque l'arrêt <ref-ruling>, il n'en demeure pas moins que son argumentation tend plutôt à substituer sa propre appréciation à celle de l'autorité précédente, telle qu'elle résulte des consid. 3 et 5 du jugement entrepris. Au regard de l'<ref-law>, auquel renvoie l'art. 28a al. 1 première phrase LAI (introduit par la novelle du 6 octobre 2006 [5e révision AI), en vigueur depuis le 1er janvier 2008), est relevante pour l'assurance-invalidité la capacité de travail exigible (<ref-ruling> consid. 3.2 p. 398).
Sur le vu du rapport du docteur L._ du 2 juillet 2008, dont les conclusions en ce qui concerne la capacité de travail exigible dans une activité adaptée aux limitations fonctionnelles se fondent sur le rapport de la doctoresse B._ du 27 juillet 2007 et sur l'expertise rhumatologique du 11 décembre 2007 du centre Y._, les affirmations mentionnées ci-dessus du recourant ne permettent pas de considérer que la juridiction cantonale, en retenant qu'il présentait depuis le début de l'année 2008 une capacité de travail de 100 % dans une activité adaptée aux limitations fonctionnelles, ait établi les faits de façon manifestement inexacte ou en violation du droit. Le jugement entrepris, qui confirme l'invalidité de 5 % fixée par l'office AI, est conforme au droit fédéral (supra, consid. 3.2). Le recours est mal fondé de ce chef.
5. 5.1 La gratuité de l'assistance judiciaire consacrée par l'art. 29 al. 3 Cst. n'a pas une portée absolue. La restitution des montants avancés au titre de l'assistance judiciaire peut être exigée du bénéficiaire lorsque sa situation économique s'est améliorée dans une mesure suffisante (<ref-ruling> consid. 2.4.2.2 p. 96 et les références). Dans sa décision du 24 novembre 2008, le Bureau de l'assistance judiciaire du Service juridique et législatif du canton de Vaud a accordé au recourant le bénéfice de l'assistance judiciaire avec effet au 5 novembre 2008, mais subordonné l'octroi de l'assistance judiciaire au paiement d'une contribution mensuelle de 50 fr. dès et y compris le 1er décembre 2008. La capacité du recourant à participer aux frais du procès par le versement d'une contribution mensuelle de 50 fr. n'est pas ici en cause (voir, sur ce point, arrêt du 30 mars 2011 de la Chambre des recours civile du Tribunal cantonal vaudois, in JdT 2011 III consid. 2c p. 94 s.). Les frais avancés au titre de la défense d'office avaient donc un caractère provisoire, dans la mesure de leur remboursement par la contribution mensuelle de 50 fr. versée à partir du 1er décembre 2008. Les conditions étaient réunies pour que le jugement entrepris du 17 mai 2010, rendu dix-sept mois après le 1er décembre 2008, puisse mettre les frais de justice à la charge du recourant (<ref-ruling> consid. 2.4.3 p. 100 s.; arrêt 1B_13/2009 du 16 février 2009, consid. 7).
5.2 A partir du moment où le mandataire du recourant, dans sa lettre du 13 octobre 2010 adressée à la juridiction cantonale, a renoncé à une indemnité de conseil d'office, le droit de l'avocat d'office à une indemnité invoqué par le recourant dans son mémoire du 24 septembre 2010 (timbre postal) est une question devenue sans objet. Le recours est dès lors mal fondé.
6. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (<ref-law>). Il ne saurait prétendre une indemnité de dépens pour l'instance fédérale (<ref-law>). Sa demande d'assistance judiciaire a été rejetée par ordonnance du 23 décembre 2010. Par ordonnance du 21 janvier 2011, le Tribunal fédéral n'est pas entré en matière sur sa requête du 7 janvier 2011 (timbre postal).

Par ces motifs, le Tribunal fédéral prononce:
1. Le recours est rejeté dans la mesure où il est recevable.
2. Le recours constitutionnel subsidiaire est irrecevable.
3. Les frais judiciaires, arrêtés à 1'000 fr., sont mis à la charge du recourant.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 5 juillet 2011
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner