Faits:
A. Par décision du 24 mai 2006, l'Office de l'assurance-invalidité pour le canton de Vaud a refusé d'allouer à V._ une rente d'invalidité, au motif qu'il présentait une invalidité de 20.65 %, taux ne donnant aucun droit à une rente.
Le 7 juin 2006, V._ a formé opposition contre cette décision, en demandant à bénéficier de mesures professionnelles complémentaires à celles effectuées en 2004.
Par décision du 21 septembre 2007, l'office AI a rejeté l'opposition. Relevant que l'assuré ne remplissait plus la condition de la capacité de réadaptation subjective pour des mesures professionnelles (il ne s'estimait pas capable de travailler en raison de son état de santé; il n'était donc subjectivement pas disposé à suivre des mesures de réadaptation professionnelle), l'office AI se déclarait prêt à compléter l'instruction du dossier s'agissant des mesures professionnelles, à la condition que V._ reconnaisse qu'il disposait d'une pleine capacité de travail dans une activité adaptée aux limitations fonctionnelles.
B. Statuant sur le recours formé par V._ contre cette décision, la Cour des assurances sociales du Tribunal cantonal du canton de Vaud, par arrêt du 19 mars 2010, l'a partiellement admis (ch. I du dispositif), a confirmé la décision sur opposition du 21 septembre 2007 en tant qu'elle refusait le droit à la rente (ch. II du dispositif), annulé la décision sur opposition du 21 septembre 2007 en tant qu'elle refusait le droit à des mesures professionnelles, le dossier étant renvoyé à l'office AI afin qu'il procède conformément aux considérants de l'arrêt (ch. III du dispositif), et condamné l'office AI à verser à V._ la somme de 1'500 fr. à titre de dépens (ch. IV du dispositif).
C. L'Office de l'assurance-invalidité pour le canton de Vaud interjette un recours en matière de droit public contre ce jugement, en concluant à son annulation, la décision sur opposition du 21 septembre 2007 étant confirmée.

Considérant en droit:
1. 1.1 Le recours en matière de droit public est recevable contre les décisions qui mettent fin à la procédure (<ref-law>) et contre toute décision qui statue sur un objet dont le sort est indépendant de celui qui reste en cause ou qui met fin à la procédure à l'égard d'une partie des consorts (décision partielle; <ref-law>). Il est également recevable contre les décisions préjudicielles et incidentes qui sont notifiées séparément et qui portent sur la compétence ou sur une demande de récusation (<ref-law>). Les autres décisions préjudicielles et incidentes notifiées séparément ne peuvent faire l'objet d'un recours que si elles peuvent causer un préjudice irréparable (<ref-law>), ou si l'admission du recours peut conduire immédiatement à une décision finale qui permet d'éviter une procédure probatoire longue et coûteuse (<ref-law>).
1.2 Même si le recourant a pris des conclusions tendant à l'annulation pure et simple du jugement entrepris, il ne remet pas en cause le ch. II du dispositif confirmant la décision sur opposition du 21 septembre 2007 en tant qu'elle refuse le droit à une rente d'invalidité. Cette partie du jugement attaqué qui se rapporte à la question définitivement tranchée du droit à la rente constitue une décision partielle (<ref-ruling>). En revanche, il en va différemment du ch. III du dispositif annulant la décision sur opposition du 21 septembre 2007 en tant qu'elle refuse le droit à des mesures professionnelles et renvoyant le dossier à l'office AI afin qu'il procède conformément aux considérants du jugement entrepris. Cette décision de renvoi constitue une étape vers la décision finale sur le droit de l'assuré à des mesures d'ordre professionnel et doit être considérée comme une décision incidente, contre laquelle un recours n'est admissible qu'aux conditions de l'<ref-law> (<ref-ruling> consid. 1.1 p. 143, 133 V 477 consid. 4.2 p. 481 s.), étant relevé que l'<ref-law> n'entre pas ici en considération.
2. 2.1 Il y a préjudice irréparable au sens de l'<ref-law> si une administration est obligée par une décision de l'autorité supérieure de statuer dans un sens qui lui paraît contraire au droit (<ref-ruling> consid. 1.3 p. 128, 134 III 136 consid. 1.2 p. 138, 134 V 97 consid. 1.2.3 p. 101, 133 V 477 consid. 5.2 p. 483 s.; BERNARD CORBOZ, in: Commentaire de la LTF, 2009, ad <ref-law> n° 17 p. 905).
2.2 La juridiction cantonale a renvoyé la cause à l'office AI afin qu'il statue à nouveau sur le droit de l'assuré à des mesures d'ordre professionnel après avoir procédé à la sommation légale prévue à l'<ref-law> (consid. 2c p. 19 et consid. 3 p. 20). L'arrêt de renvoi (ch. III du dispositif du jugement entrepris) laisse ainsi au recourant toute latitude de jugement en ce qui concerne le droit de l'intimé à des mesures professionnelles. Le fait que l'office AI doit prendre une décision à la suite de l'arrêt de renvoi ne l'oblige pas de statuer dans un sens contraire au droit. En effet, l'objet de la contestation est déterminé par la décision sur opposition du 21 septembre 2007, et non pas par la décision de refus de rente du 24 mai 2006. Or, dans la décision sur opposition du 21 septembre 2007, le recourant a non seulement statué sur le droit de l'intimé à une rente d'invalidité, mais il est entré en matière sur sa demande de mesures d'ordre professionnel formulée dans l'opposition du 7 juin 2006. A partir du moment où l'office AI exigeait de la part de l'assuré qu'il reconnaisse disposer d'une pleine capacité de travail dans une activité adaptée aux limitations fonctionnelles, il lui appartenait de procéder conformément à l'<ref-law>. Le recourant ne subit donc pas un préjudice irréparable au sens de l'<ref-law>.
2.3 Pour justifier un recours immédiat, il ne suffit pas que la décision du Tribunal fédéral puisse mettre fin immédiatement à la procédure, il faut encore que cette décision permette d'éviter une procédure probatoire longue et coûteuse (BERNARD CORBOZ, in op. cit., ad <ref-law> n° 30 p. 909). Cette seconde condition de l'<ref-law> fait défaut, dès lors que le renvoi de la cause à l'office AI pour qu'il procède à la sommation légale prévue à l'<ref-law> et statue sur le droit de l'assuré à des mesures d'ordre professionnel ne se confond pas avec une procédure probatoire prenant un temps considérable et exigeant des frais importants.
3. En raison de son caractère accessoire, la décision sur les dépens (ch. IV du dispositif) ne cause pas non plus au recourant un préjudice irréparable au sens de l'<ref-law> (<ref-ruling> consid. 2.1 p. 647). Sous l'angle de l'<ref-law>, on relèvera qu'un arrêt du Tribunal fédéral sur la répartition des dépens en instance cantonale ne conduirait pas à une décision finale sur le fond.
4. Les conditions de l'<ref-law> ne sont dès lors pas réalisées en l'espèce. Le recours doit être déclaré irrecevable, selon la procédure simplifiée de l'<ref-law>. Vu l'issue du litige, les frais judiciaires doivent être mis à la charge du recourant, qui succombe (<ref-law>). Le dépôt du recours par l'office AI n'a pas occasionné de frais à l'intimé car il n'a pas été invité à répondre, de sorte qu'il n'y a pas matière à lui allouer des dépens.
La cause étant tranchée, la requête d'effet suspensif devient sans objet.

Par ces motifs, le Président prononce:
1. Le recours est irrecevable.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, à la Cour des assurances sociales du Tribunal cantonal du canton de Vaud et à l'Office fédéral des assurances sociales.
Lucerne, le 20 septembre 2010
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Le Greffier:
Meyer Wagner