Faits:
A. Par décision du 30 novembre 2009, l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger, rejetant la demande de prestations de l'assurance-invalidité présentée par A._, a confirmé son préavis de refus de prestations du 6 octobre 2008.
B. Par acte du 13 janvier 2010, A._ a formé recours contre cette décision devant le Tribunal administratif fédéral, en concluant à sa réforme en ce sens qu'il était dit qu'il avait droit à une rente entière d'invalidité dès le 1er octobre 2000. A titre préalable, il demandait que soit mise en oeuvre une expertise psychiatrique.
L'Office de l'assurance-invalidité pour les assurés résidant à l'étranger a déposé sa réponse le 21 avril 2010, en concluant au rejet du recours. Les parties ont déposé leurs observations, A._ dans une réplique du 31 mai 2010 et l'office AI dans une duplique du 23 juin 2010.
Par décision incidente du 1er décembre 2010, le Tribunal administratif fédéral a rejeté la requête de A._ tendant à la mise en oeuvre d'une expertise psychiatrique par le Tribunal.
Les 28 février, 21 juin et 5 décembre 2011, A._ a invité le Tribunal administratif fédéral à faire diligence en ce qui concerne la date à laquelle il statuerait sur le fond. Par lettres des 8 mars et 6 juillet 2011, le juge instructeur l'a informé que les causes étaient traitées selon l'ordre d'entrée des recours et, par lettre du 22 décembre 2011, que dans cette mesure l'affaire serait jugée au printemps 2012 au plus tard.
C. Le 16 mai 2012, A._ a saisi le Tribunal fédéral d'un recours pour déni de justice, en concluant, sous suite de frais et dépens, à ce que la Cour de céans ordonne au Tribunal administratif fédéral de statuer sur le fond à très bref délai. Le 23 mai 2012, le Tribunal administratif fédéral s'est déterminé sur le recours.
Par arrêt du 13 juin 2012 (C-202/2010), le Tribunal administratif fédéral, Cour III, statuant dans la cause pendante entre A._ (recourant) et l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger (autorité inférieure), a admis le recours du 13 janvier 2010 en ce sens que la décision du 30 novembre 2009 était annulée et la cause renvoyée à l'Office de l'assurance-invalidité pour les assurés résidant à l'étranger qui rendrait une nouvelle décision après avoir complété l'instruction du dossier conformément aux considérants du présent arrêt.
Par lettre du 19 juillet 2012, A._, à qui l'arrêt du Tribunal administratif fédéral du 13 juin 2012 a été notifié, a modifié ses conclusions du 16 mai 2012 en ce sens qu'il invite la Cour de céans à constater que le Tribunal administratif fédéral a violé l'<ref-law> et commis un déni de justice et à faire part de sa constatation qu'il y a eu déni de justice au Tribunal fédéral et à l'Assemblée fédérale.

Considérant en droit:
1. 1.1 Même lorsqu'il invoque un déni de justice formel, le recourant doit être en mesure de faire valoir un intérêt actuel et pratique à l'admission de son recours (<ref-ruling> consid. 1.2 p. 157). Un intérêt purement théorique est insuffisant. Sous réserve d'exceptions, dès le moment où l'autorité qui y est tenue a statué, un tel recours devient irrecevable ou, s'il a déjà été formé, sans objet faute d'un intérêt juridique actuel (YVES DONZALLAZ, Loi sur le Tribunal fédéral, Berne, 2008, p. 1270 n° 3417 et les arrêts mentionnés sous notes 8369 et 8370).
1.2 Le recours pour déni de justice a été formé devant la Cour de céans au motif que le Tribunal administratif fédéral tardait à rendre une décision (<ref-law>) sur des prétentions en matière d'assurance-invalidité. Par arrêt du 13 juin 2012, le Tribunal administratif fédéral, statuant sur le fond, a renvoyé la cause à l'office intimé pour instruction complémentaire conformément aux considérants et nouvelle décision. A partir du moment où le Tribunal administratif fédéral, en statuant comme il l'a fait dans son arrêt du 13 juin 2012, a rendu une décision au sens de l'<ref-law> sur ce qui était demandé, il n'y a plus de place pour un déni de justice (BERNARD CORBOZ, in: Commentaire de la LTF, Berne 2009, n° 7 ad <ref-law>). Même si le recourant, à la suite de la notification de l'arrêt du Tribunal administratif fédéral du 13 juin 2012, a pris des conclusions tendant à la constatation qu'il y avait eu déni de justice, il ne dispose plus d'un intérêt juridiquement protégé à ce que le Tribunal fédéral statue sur le recours formé au titre de l'<ref-law>, recours qui doit être déclaré sans objet faute d'un intérêt juridique actuel (supra, consid. 1.1) et rayé du rôle.
2. Lorsque, comme en l'espèce, un procès devient sans objet ou que les parties cessent d'y avoir un intérêt juridique, le Tribunal fédéral statue néanmoins sur les frais afférents à la procédure engagée par une décision sommairement motivée, en tenant compte de l'état de fait existant avant l'événement mettant fin au litige (<ref-law> applicable par renvoi de l'<ref-law>) et de l'issue probable de celui-ci (cf. <ref-ruling> consid. 2a p. 375).
2.1 Aux termes de l'art. 29 al. 1 Cst., toute personne a droit, dans une procédure judiciaire ou administrative, à ce que sa cause soit traitée équitablement et jugée dans un délai raisonnable. Le caractère raisonnable de la durée de la procédure s'apprécie en fonction des circonstances particulières de la cause et, entre autres critères, sont notamment déterminants le degré de complexité de l'affaire, l'enjeu que revêt le litige pour l'assuré ainsi que le comportement de celui-ci et des autorités intimées. A cet égard, il appartient au justiciable d'entreprendre certaines démarches pour inviter l'autorité à faire diligence, notamment en incitant celle-ci à accélérer la procédure ou en recourant pour retard injustifié. Si on ne saurait reprocher à l'autorité quelques "temps morts", elle ne peut invoquer une organisation déficiente ou une surcharge structurelle pour justifier la lenteur de la procédure (<ref-ruling> consid. 5.1 et 5.2 p. 331 s. et les références).
2.2 Selon la jurisprudence, il y a retard injustifié lorsqu'une cause est pendante depuis 33 mois et en état d'être jugée depuis 27 mois (<ref-ruling>). Par exemple, il y a retard inadmissible à statuer lorsqu'un tribunal cantonal laisse s'écouler 25 mois entre la fin de l'échange d'écritures et le dépôt du recours pour déni de justice devant le Tribunal fédéral, respectivement plus de trois ans depuis le dépôt du recours cantonal, dans une affaire sans difficultés excessives en matière d'assurance-accidents (arrêt 8C_176/2011 du 20 avril 2011), ou lorsqu'il s'est écoulé un délai de 24 mois entre la fin de l'échange d'écritures devant la juridiction cantonale et le dépôt du recours pour déni de justice devant le Tribunal fédéral dans un litige qui avait uniquement pour objet le taux d'invalidité du recourant et où celui-ci avait circonscrit son argumentation à deux questions ne présentant pas de difficultés particulières (arrêt 8C_613/2009 du 22 février 2010). Dans une affaire où il s'agissait d'évaluer les revenus avec et sans invalidité d'un assuré et où il y avait eu un délai de 24 mois entre la fin de l'échange d'écritures et le prononcé du jugement cantonal, le Tribunal fédéral a admis un retard inadmissible à statuer, tout en relevant qu'un tel délai représentait une situation limite (arrêt 9C_831/2008 du 12 décembre 2008, in Plädoyer 3/2009 p. 62). Un délai de dix-huit mois écoulé entre la fin de l'échange d'écritures devant la juridiction cantonale et le recours pour déni de justice interjeté devant le Tribunal fédéral n'a pas été qualifié de retard injustifié, compte tenu notamment de la nécessité de procéder à une appréciation minutieuse de nombreux rapports médicaux ou expertises (arrêt 8C_615/2009 du 28 septembre 2009).
2.3 A la suite de l'ordonnance du 30 juin 2010 par laquelle le Tribunal administratif fédéral a porté un double de la duplique de l'office AI du 23 juin 2010 à la connaissance du recourant, celui-ci, par lettres des 7 juillet, 1er et 24 septembre 2010, a invité le Tribunal administratif fédéral à lui faire savoir dans quel délai il statuerait sur sa requête de mise en oeuvre d'une expertise psychiatrique. Par lettre du 30 septembre 2010, le juge instructeur a informé le recourant que pour des raisons d'égalité de traitement le Tribunal statuait sur les requêtes selon l'ordre d'entrée des recours, sans qu'il soit possible de préciser à quelle date il serait statué sur sa requête, et que la réponse du Tribunal ne lui parviendrait pas avant quelques mois. Par lettre du 22 novembre 2010, le recourant a invité le juge instructeur à statuer sur sa requête de mise en oeuvre d'une expertise psychiatrique d'ici à la fin de l'année 2010. Par décision incidente du 1er décembre 2010 rejetant la requête du recourant relative à la mise en oeuvre d'une expertise psychiatrique par le Tribunal administratif fédéral, le juge instructeur a considéré que si une expertise psychiatrique se révélait nécessaire parce que les faits ne seraient pas suffisamment élucidés, ce qui serait déterminé lors de l'examen de la cause au fond, il n'existait aucun motif excluant le renvoi de la cause à l'administration pour qu'elle procède à ce complément d'instruction.
Dès lors que le Tribunal administratif fédéral a statué le 1er décembre 2010 sur la requête du recourant relative à la mise en oeuvre d'une expertise psychiatrique par le Tribunal, il y a lieu d'apprécier le caractère raisonnable de la durée de la procédure en ce qui concerne l'examen de la cause au fond par le Tribunal administratif fédéral. Le recourant a saisi le Tribunal fédéral d'un recours pour déni de justice le 16 mai 2012, soit 17 mois après que le Tribunal administratif fédéral eut rejeté par décision du 1er décembre 2010 sa requête tendant à la mise en oeuvre d'une expertise psychiatrique. Le laps de temps de 18 mois qui s'est écoulé entre la décision incidente du 1er décembre 2010 et l'arrêt du 13 juin 2012 du Tribunal administratif fédéral ne saurait constituer une durée excessive pour statuer sur le fond de la cause, compte tenu du degré de complexité de l'affaire en ce qui concerne la nature des atteintes que présente le recourant et leur incidence sur sa capacité de travail. Compte tenu de ces éléments, le recourant n'aurait pas été fondé à se plaindre d'un retard inadmissible à statuer sur le fond de la cause.
3. Il s'ensuit que le recourant doit supporter les frais inutiles qu'il a causés (<ref-law>) et n'a pas droit à des dépens (<ref-law>).

Par ces motifs, le Tribunal fédéral prononce:
1. La cause, devenue sans objet, est rayée du rôle.
2. Les frais judiciaires, arrêtés à 500 fr., sont mis à la charge du recourant.
3. Il n'est pas alloué de dépens.
4. Le présent arrêt est communiqué aux parties, à l'Office fédéral des assurances sociales et à l'Office AI pour les assurés résidant à l'étranger.
Lucerne, le 12 novembre 2012
Au nom de la IIe Cour de droit social
du Tribunal fédéral suisse
Le Président: Meyer
Le Greffier: Wagner