Faits: A. A.a C._ a travaillé dans la construction en bénéficiant d'engagements limités dans le temps, la dernière fois en qualité de maçon dans le cadre d'un contrat de travail d'une durée déterminée allant du 10 avril au 30 novembre 2007. Son médecin traitant, le docteur F._, l'a mis à l'arrêt de travail à partir du 7 mai 2007. Il a bénéficié d'indemnités journalières versées par Helsana Assurances SA jusqu'au 31 janvier 2008, puis du 1er février au 31 mai 2008 selon une transaction ratifiée par la Cour des assurances sociales du Tribunal cantonal du canton de Vaud dans un arrêt du 23 juillet 2009. Le 7 février 2008, il s'est inscrit à l'assurance-chômage. Par décision du 30 juin 2008, l'Office régional de placement l'a déclaré inapte au placement à compter du 7 février 2008. A.b Le 17 décembre 2007, C._ a présenté une demande de prestations de l'assurance-invalidité, en requérant un reclassement dans une nouvelle profession. Le docteur W._, spécialiste FMH en médecine générale, a déposé ses conclusions dans un rapport du 20 février 2008, tout en relevant que le dernier examen remontait au 8 mai 2007 et qu'il n'avait pas revu le patient depuis le 9 mai 2007. Le docteur F._ en a fait de même dans un rapport du 1er mars 2008, en indiquant que le patient présentait une incapacité de travail de 100 % depuis le 7 mai 2007. Dans un rapport du 2 juillet 2008, le docteur L._, médecin SMR, s'est fondé sur le diagnostic de dorso-lombalgies chroniques sur troubles statiques, protrusion discale L5-S1 et dysbalances musculaires, tel que l'avait posé la doctoresse B._, médecin associé de l'Hôpital X._, dans un rapport du 18 juin 2007. Relevant que la doctoresse B._ avait effectué un nouveau bilan clinique le 26 juillet 2007 qui avait permis de confirmer dans un rapport du 27 juillet 2007 une amélioration de l'état de santé de l'assuré, il a conclu que la capacité de travail exigible était nulle dans l'activité de maçon depuis le 7 mai 2007 et de 100 % depuis le 28 juillet 2007 dans une activité adaptée aux limitations fonctionnelles, telles que décrites dans l'expertise du 11 décembre 2007 du centre Y._ effectuée pour le compte de l'assureur Helsana. Dans un préavis du 7 août 2008, l'Office de l'assurance-invalidité pour le canton de Vaud a informé C._ qu'il présentait depuis le 28 juillet 2007 une capacité de travail exigible de 100 % dans une activité adaptée aux limitations fonctionnelles (sans soulèvement de charges sol-taille de plus de 15 kg, taille-hauteur de tête de plus de 10 kg, sans port en position horizontale de plus de 15 kg, sans travaux au-dessus de la tête, sans positions penchées en avant de plus de 25 minutes, sans position assise penchée en avant de plus de 3 heures par jour, sans rotations du tronc en position debout et assise, sans génuflexions répétées, sans montées sur une échelle, sans position debout immobile n'offrant aucune possibilité de changement) et depuis le 7 mai 2008 une invalidité de 5 %, taux ne donnant aucun droit à une rente. Le 19 août 2008, l'assuré a fait part à l'office AI de ses observations. Par décision du 29 octobre 2008, l'office AI, rejetant la demande, a refusé d'allouer à C._ une rente d'invalidité, tout en réfutant ses arguments dans un courrier séparé daté du même jour. Il l'informait que, sur demande expresse de sa part, l'assurance-invalidité serait prête à envisager la mise en place d'une aide au placement, pour autant qu'il soit prêt à mettre en valeur sa capacité de travail médicalement exigible de 100 % dans une activité adaptée. B. Le 9 novembre 2008, C._ a formé recours contre cette décision devant le Tribunal des assurances du canton de Vaud (aujourd'hui: Tribunal cantonal du canton de Vaud, Cour des assurances sociales), en concluant, sous suite de frais et dépens, à l'octroi de l'assistance judiciaire gratuite et à l'octroi d'une rente d'invalidité, cas échéant au renvoi du dossier à l'OAI pour qu'il mette en oeuvre des mesures de réadaptation professionnelle et lui alloue une "rente temporaire" jusqu'à l'exécution avec succès de ces mesures. Par décision du 24 novembre 2008, le Bureau de l'assistance judiciaire du Service juridique et législatif du canton de Vaud lui a accordé le bénéfice de l'assistance judiciaire avec effet au 5 novembre 2008. L'octroi de l'assistance judiciaire était subordonné au paiement d'une contribution mensuelle de 50 fr. dès et y compris le 1er décembre 2008. Dès le 14 septembre 2009, C._ a bénéficié d'un stage d'orientation au Centre de formation Z._, lequel a pris fin le 22 janvier 2010. Dans un rapport du 22 janvier 2010, le Centre Z._, sur un taux de présence de 100 % dans un travail ergonomiquement adapté, a évalué le rendement de l'assuré entre 60 et 70 %. Les parties ont déposé leurs observations, C._ dans une lettre du 26 janvier 2010 et l'office AI dans un préavis du 1er mars 2010. Le 4 mars 2010, C._ a informé l'office AI que l'offre d'un règlement amiable de la procédure était toujours valable et qu'elle "permettrait d'éviter l'examen de la reconsidération, qui au besoin (était) ici formellement demandée". Le 17 mai 2010, la juridiction cantonale a tenu une audience de jugement, où les parties ont confirmé leurs conclusions et C._ a produit un préavis de l'office AI du 28 avril 2010 de refus de l'indemnité journalière durant le délai d'attente et une lettre de l'office AI du 28 avril 2010 déclarant ne pas entrer en matière sur la demande de reconsidération. Par arrêt daté du 17 mai 2010, notifié aux parties le 17 septembre 2010, la Cour des assurances sociales du Tribunal cantonal a rejeté le recours (ch. I du dispositif), confirmé la décision du 29 octobre 2008 de l'office AI (ch. II du dispositif) et mis à la charge de C._ les frais de justice par 250 fr. (ch. III du dispositif). C. C._ interjette un recours en matière de droit public et un recours constitutionnel subsidiaire contre ce jugement, en concluant, sous suite de frais et dépens, à l'annulation de celui-ci et de la décision administrative du 29 octobre 2008, ainsi qu'au renvoi du dossier à l'OAI "pour qu'il réexamine le droit aux prestations de l'AI (mesures de réadaptation, rente d'invalidité), conformément aux considérants". Il conclut également à l'annulation du jugement entrepris en ce qui concerne la perception de frais de justice, en demandant que la cause soit renvoyée à l'autorité judiciaire de première instance pour fixation et règlement des honoraires de son mandataire. Il sollicite l'octroi de l'assistance judiciaire gratuite. Donnant suite à une ordonnance du Tribunal fédéral du 3 novembre 2010, la juridiction cantonale, par lettre du 5 novembre 2010, a déposé ses observations à propos des griefs de C._ relatifs à la perception de frais de justice et au droit de l'avocat d'office à une indemnité. Produisant une lettre du 13 octobre 2010 du mandataire de C._ informant la Cour des assurances sociales du Tribunal cantonal qu'il renonçait à une indemnité de conseil d'office, elle avisait la Cour de céans qu'elle avait pris acte de cette déclaration et qu'il n'y avait pas lieu de rendre une décision séparée à ce sujet. L'Office de l'assurance-invalidité pour le canton de Vaud conclut au rejet du recours. L'Office fédéral des assurances sociales a renoncé à se déterminer.