Sachverhalt:
A. Der 1969 geborene B._ arbeitete bis 9. September 2003 als Bodenleger bei der Firma E._ AG. Am 13. Februar 2004 meldete er sich bei der IV-Stelle des Kantons St. Gallen an. Diese sprach ihm mit Verfügung vom 16. Dezember 2004 ab 1. September 2004 eine ganze Invalidenrente (Invaliditätsgrad 100 %) zu. Am 6. Dezember 2005 teilte sie ihm mit, die bisherige Rente werde weiter ausgerichtet. Da der Versicherte im Jahre 2006 nach Serbien ausreiste, wurde die Sache an die Schweizerische Ausgleichskasse überwiesen; diese gab ihm am 22. November 2006 die Weiterausrichtung der ganzen Rente bei gleichem Invaliditätsgrad bekannt. Im Rahmen eines Revisionsverfahrens zog die IV-Stelle für Versicherte im Ausland diverse Arztberichte und ein Gutachten der S._ AG, vom 26. November 2009 mit Ergänzungsbericht vom 6. Dezember 2010 bei. Mit Verfügung vom 9. März 2011 stellte sie die Invalidenrente per 30. April 2011 ein.
B. Die dagegen erhobene Beschwerde wies das Bundesverwaltungsgericht mit Entscheid vom 11. Januar 2012 ab.
C. Beschwerdeweise beantragt der Versicherte, in Aufhebung des vorinstanzlichen Entscheides sei ihm weiterhin eine ganze Invalidenrente auszurichten; eventuell sei die Sache zur ergänzenden Abklärung und anschliessenden Neubeurteilung an die Vorinstanz zurückzuweisen; es sei ihm die unentgeltliche Prozessführung und Verbeiständung zu gewähren. Bei der Vorinstanz wurden die Akten eingeholt. Ein Schriftenwechsel wurde nicht angeordnet.

Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; <ref-ruling> E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (<ref-law>). Dies ist aufgrund der Vorbringen in der Beschwerde zu prüfen (nicht publ. E. 1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 52 S. 161 [8C_763/2008]). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG; <ref-ruling> E. 4.1.1 S. 377) und der Anforderungen an den Beweiswert ärztlicher Berichte bzw. Gutachten (<ref-ruling> E. 5.1 S. 232). Die aufgrund medizinischer Untersuchungen gerichtlich festgestellte Gesundheitslage bzw. Arbeitsfähigkeit und die konkrete Beweiswürdigung sind Tatfragen (<ref-ruling> E. 3.2 S. 397; nicht publ. E. 4.1 des Urteils <ref-ruling>, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_308/2012 vom 29. Mai 2012 E. 1).
2. Streitig und zu prüfen ist, ob der Versicherte ab 1. Mai 2011 weiterhin einen Rentenanspruch hat. Der Vorinstanz ist beizupflichten, dass das schweizerische Recht anzuwenden ist und die am 1. Januar 2008 in Kraft getretenen, hier anwendbaren Normen der 5. IV-Revision keine substanziellen Änderungen zur Invaliditätsbemessung brachten (<ref-ruling>; Urteil 8C_308/2012 E. 3). Weiter legte sie die Grundlagen über die Arbeits- und Erwerbsunfähigkeit (Art. 6 f. ATSG), die Invalidität (<ref-law>; <ref-law>), den Einkommensvergleich (<ref-law>), den Rentenanspruch (<ref-law>), die Rentenrevision (<ref-law>; Art. 88a Abs. 1, Art. 88 bis Abs. 2 lit. a IVV; <ref-ruling>, 215, 306; <ref-ruling> E. 3 S. 132) und den Beweiswert ärztlicher Unterlagen (E. 1 hievor) richtig dar. Darauf wird verwiesen.
3. 3.1 Bei der Rentenrevision ist zeitlicher Ausgangspunkt für die Prüfung einer anspruchserheblichen Änderung die letzte rechtskräftige Verfügung, die auf einer materiellen Prüfung des Rentenanspruchs mit rechtskonformer Sachverhaltsabklärung, Beweiswürdigung und Durchführung eines Einkommensvergleichs (bei Anhaltspunkten für eine Änderung in den erwerblichen Auswirkungen des Gesundheitszustands) beruht (BGE <ref-ruling> E. 3 S. 132 f., 133 V 108 E. 5.4 S. 114; zur Leistungszusprache ohne Verfügung vgl. Art. 74ter lit. f und Art. 74quater IVV, SVR 2010 IV Nr. 4 S. 7 E. 3.1 [9C_46/2009]).
3.2 Die Vorinstanz erwog, die mit Mitteilung vom 6. Dezember 2005 abgeschlossene Revision habe die rentenbejahende Verfügung vom 16. Dezember 2004 ohne umfassende Sachverhaltsprüfung bestätigt. Somit sei zu prüfen, ob sich der Gesundheitszustand bzw. die Arbeitsfähigkeit des Versicherten zwischen den Verfügungen vom 16. Dezember 2004 und 9. März 2011 anspruchsrelevant verändert hätten. Der Versicherte verlangt, es sei der im Dezember 2005 festgestellte Gesundheitszustand mit demjenigen im Zeitpunkt der letztgenannten Verfügung zu vergleichen.
Bei der Revision im Jahre 2005 zog die Verwaltung folgende Arztberichte bei: Der Psychiater Dr. med. M._ gab am 26. September 2005 an, das Datum seiner letzten Kontrolle sei am 22. April 2005 gewesen; die bisherige Tätigkeit sei dem Versicherten nicht zumutbar; sitzende, wechselbelastete leichte Tätigkeiten (z.B. Telefonieren...) seien ihm "wenige Stunden pro Tag (???)" zumutbar. Dr. med. A._, Allgemeine Medizin FMH, legte am 1. November 2005 dar, in der bisherigen Arbeit sei der Versicherte voll arbeitsunfähig; andere Tätigkeiten seien ihm nicht zumutbar, was in der psychischen Problematik begründet sei. Diese beiden Berichte bildeten keine Grundlage für eine rechtskonforme Sachverhaltsabklärung. Denn Dr. med. A._ fehlte in psychischer Hinsicht die Fachkompetenz. Dr. med. M._ machte keine hinreichenden Angaben zum Grad der Arbeitsfähigkeit. Demnach ist zeitlicher Ausgangspunkt der Beurteilung die Verfügung vom 16. Dezember 2004 mit den davor erstatteten Arztberichten.
4. Die Vorinstanz erwog im Wesentlichen, die S._ AG und die RAD-Ärzte hätten überzeugend begründet, dass und weshalb die Arbeitsfähigkeit des Versicherten in einer Verweisungstätigkeit aus psychiatrischer Sicht nicht und aus orthopädischer Sicht im Umfang von lediglich 20 % eingeschränkt sei. Aufgrund des im Vergleich zum Zeitpunkt der Rentenzusprache am 16. Dezember 2004 verbesserten Gesundheitszustandes sei ein Revisionsgrund nach <ref-law> gegeben.
In somatischer Hinsicht erhebt der Versicherte keine Einwände, womit es sein Bewenden hat (Urteil 8C_768/2011 vom 7. Februar 2012 E. 3).
5. Streitig und zu prüfen ist, ob eine anspruchsrelevante Verbesserung des psychischen Gesundheitszustandes bzw. der diesbezüglichen Arbeitsfähigkeit eingetreten ist.
5.1 Der Versicherte macht geltend, die Rentenzusprache sei aufgrund des Attests des Psychiaters Dr. med. M._ vom 3. September 2004 erfolgt, der ihn wegen der somatoformen Schmerzstörung als vollständig arbeitsunfähig eingeschätzt habe. Die Rente beruhe einzig auf psychischen Einschränkungen. Im Revisionszeitpunkt finde sich kein Hinweis auf eine diesbezügliche Veränderung oder gar Verbesserung. Die Beurteilung sei vielmehr allein aufgrund der Kriterien der geänderten Rechtsprechung zur somatoformen Schmerzstörung (<ref-ruling>) erfolgt, was praxiswidrig sei (<ref-ruling>). Die Berücksichtigung des chronischen Schmerzsyndroms gemäss der überholten Rechtsprechung hätte zur Folge, dass er unverändert zu 100 % arbeitsunfähig und der Invaliditätsgrad gleich geblieben wäre.
5.2 Die S._ AG legte im Gutachten vom 26. November 2009 unter anderem dar, im Vergleich zur Verfügung der IV-Stelle vom 17. Februar 2004 (recte Feststellungsblatt vom 15. September 2004) lägen aktuell eine somatoforme Schmerzstörung und eine mittelgradige atypische Depression nicht mehr vor. Im Zusatzbericht vom 6. Dezember 2010 stellte die S._ AG fest, laut den Berichten des Dr. med. M._ vom 3. September 2004 und 22. April 2005 (recte 26. September 2005; siehe E. 3.2 hievor) habe sich die psychische Befindlichkeit des Versicherten unter der Therapie gebessert, so dass die Behandlung bereits im April 2005 habe abgeschlossen werden können. Bei der psychiatrischen Untersuchung vom 15. Oktober 2009 hätten sich keine Hinweise für eine relevante depressive Erkrankung ergeben. Der exakte Verlauf des Gesundheitszustandes seit 2004 anhand der früheren Berichte sei nicht beurteilbar. Gegenwärtig sei aus der diagnostizierten leichten Persönlichkeitsveränderung und dem chronischen Schmerzsyndrom keine Arbeitsunfähigkeit abzuleiten, zumal die seinerzeit noch bestehenden depressiven Symptome fehlten und eine psychische Komorbidität nicht nachgewiesen werden könne.
In diesem Lichte ist es im Rahmen der beschränkten bundesgerichtlichen Kognition nicht zu beanstanden, dass die Vorinstanz - der Stellungnahme des RAD-Arztes Dr. med. H._ folgend - von einer Verbesserung des psychischen Gesundheitszustandes im massgebenden Beurteilungszeitraum seit 16. Dezember 2004 ausging (zur Aufgabe des RAD, die Leistungsfähigkeit zu beurteilen vgl. <ref-law>; <ref-law>; SVR 2011 IV Nr. 2 S. 7 E. 2.2 [9C_904/2009]; Urteil 9C_58/2011 vom 25. März 2011 E. 2.2). Der Versicherte erhebt keine Rügen, welche diese vorinstanzliche Sachverhaltsfeststellung als offensichtlich unrichtig oder als rechtsfehlerhaft nach <ref-law> erscheinen lassen (E. 1 hievor). In tatsächlicher Hinsicht bringt er betreffend das Gutachten der S._ AG einzig vor, sein Gesundheitszustand habe sich nicht geändert, da Dr. med. N._ im psychiatrischen Teilgutachten der S._ AG vom 20. Oktober 2009 auf den Bericht des Dr. med. M._ vom September 2005 und damit die Vergleichsbasis verweise und ausführe, übereinstimmend mit dieser stehe der subjektiv erlebte chronische Schmerz im Vordergrund. Dieser Einwand des Versicherten ist nicht stichhaltig. Denn Vergleichsbasis ist nicht sein - gemäss der EInschätzung der S._ AG bereits verbesserter - Gesundheitszustand im Jahre 2005, sondern derjenige bei Erlass der Rentenverfügung vom 16. Dezember 2004. Von weiteren medizinischen Abklärungen ist abzusehen, da hievon keine neuen Erkenntnisse zu erwarten sind (antizipierte Beweiswürdigung; <ref-ruling> E. 5.2 S. 69, 136 I 229 E. 5.3 S. 236). Unbehelflich ist die Berufung des Versicherten auf <ref-ruling>; denn darin wurde - anders als hier - keine erhebliche Veränderung des Gesundheitszustandes festgestellt (<ref-ruling> E. 4.3 S. 204; Urteil 8C_648/2011 vom 19. Dezember 2011 E. 3).
6. 6.1 Die von der S._ AG gestellte Diagnose der Persönlichkeitsänderung bei chronischem Schmerzsyndrom (ICD-10 F62.80) stellt für sich allein keinen invalidisierenden Gesundheitsschaden im Rechtssinne dar und ist nach den rechtlichen Kriterien zu beurteilen, die auch für somatoforme Schmerzstörungen und ähnliche Leiden gelten (<ref-ruling>; nicht publ. E. 2.3 des Urteils <ref-ruling>, in SVR 2011 IV Nr. 34 S. 99 [9C_55/2010]).
6.2 Der Versicherte rügt die Praxis, dass Schmerzen aus dem somatoformen Kreis zumutbarerweise überwindbar seien (<ref-ruling>), als unhaltbar. In der medizinischen Literatur existierten keine Belege für diese Vermutung. Die "Foerster-Kriterien" seien sachlich nicht vertretbar; aus den Publikationen von Foerster ergebe sich kein Hinweis, auf welcher empirischer Grundlage er zu den Prognosekriterien gekommen sei. Es liege keine wissenschaftliche Arbeit vor, die den Zusammenhang zwischen seinen Kriterien und der Wiedereingliederungschance belege. Es existiere auch kein Nachweis, dass der psychischen Komorbidität eine herausragende Stellung zukomme. In den vergangenen 16 Jahren seien neue epidemiologische Studien zu den Auswirkungen chronischer Schmerzen, neue Erkenntnisse zur Schmerzphysiologie und Leitlinien zur Begutachtung von Schmerz publiziert worden, die es nun zu würdigen gäbe. Die von der Rechtsprechung entwickelten sozialmedizinischen Folgen stimmten nicht mit den tatsächlichen, rein medizinischen Einschätzungen der Arbeitsfähigkeit überein. Die geltende Rechtsprechung verstosse gegen Art. 7, Art. 8 Abs. 1, Art. 16 und <ref-law> sowie Art. 4 und Art. 28 Abs. 1 und 2 IVG.
Das Bundesgericht nahm im Urteil 9C_776/2010 vom 20. Dezember 2011 (SVR 2012 IV Nr. 32 S. 127) zum Vorwurf Stellung, die Zumutbarkeitsprüfung nach <ref-ruling> diskriminiere Personen mit psychosomatischen Krankheitsbildern gegenüber solchen mit (rein) körperlichen Leiden und sei wissenschaftlich nicht validiert. Es erachtete die Kritik als nicht stichhaltig (vgl. auch die Urteile 9C_936/2011 vom 21. März 2012 E. 2.2, 9C_736/2011 vom 7. Februar 2012 E. 2.2 und 8C_420/2011 vom 26. September 2011 E. 2.4). Es besteht kein Anlass zu erneuter Auseinandersetzung mit der kritisierten Rechtsprechung.
7. Aufgrund des Gutachtens der S._ AG vom 26. November 2009 liegt keine psychische Komorbidität mehr vor. Dass weitere Kriterien erfüllt wären, welche die Überwindbarkeit der Persönlichkeitsänderung bei chronischem Schmerzsyndrom ausschliessen, macht der Versicherte nicht substanziiert geltend und geht nicht offensichtlich aus den Akten hervor (vgl. auch Urteil 8C_639/2011 vom 5. Januar 2012 E. 4.3.3). Gegen den vorinstanzlichen Einkommensvergleich, der zu einem Invaliditätsgrad von 45,2 % führte, erhebt der Versicherte keine Einwände, womit es sein Bewenden hat (Urteil 8C_308/2012 E. 5). Unbestritten ist auch, dass ihm wegen seines Auslandswohnsitzes keine Rente ausbezahlt wird (<ref-law>).
8. Streitig und zu prüfen ist, ob die Vorinstanz dem Versicherten zu Recht die Gerichtskosten von Fr. 400.- auferlegte und keine Parteientschädigung zusprach, weil er unterlegen sei.
8.1 Abweichend von Artikel 61 Buchstabe a ATSG ist das Beschwerdeverfahren bei Streitigkeiten um die Bewilligung oder die Verweigerung von IV-Leistungen vor dem kantonalen Versicherungsgericht kostenpflichtig. Die Kosten werden nach dem Verfahrensaufwand und unabhängig vom Streitwert im Rahmen von 200-1000 Franken festgelegt (<ref-law>). Die obsiegende Beschwerde führende Person hat im kantonalen Verfahren Anspruch auf Ersatz der Parteikosten (Art. 61 Buchstabe g Satz 1 ATSG).
8.2 Der Versicherte macht geltend, die Vorinstanz sei zum Ergebnis gelangt, dass sein Invaliditätsgrad entgegen der streitigen Verfügung nicht 38 %, sondern 45,2 % betrage. Damit habe er teilweise obsiegt. Trotz seines Auslandswohnsitzes sei die Höhe des Invaliditätsgrades von schützenswertem Interesse, da sein Verbleib im Ausland weder zwingend noch endgültig sei. Zudem sei die exakte Bestimmung des Invaliditätsgrades für die Invalidenrente gemäss BVG von Relevanz. Seine Vorsorgeeinrichtung bemesse die Invalidenrente nach dem Invaliditätsgrad gemäss Feststellung der Invalidenversicherung und zahle sie auch ins Ausland aus. In diesem Zusammenhang legt der Versicherte ein Schreiben seiner Vorsorgeeinrichtung vom 31. März 2011 und ihr Kassenreglement auf. Ob dies im Rahmen von <ref-law> zulässig ist, kann offen bleiben, da der Versicherte hieraus nichts zu seinen Gunsten ableiten kann (vgl. auch Urteil 8C_425/2011 vom 7. Februar 2012 E. 3).
8.3 Obsiegen liegt vor, wenn das Gericht die angefochtene Verfügung oder den angefochtenen Entscheid aufhebt und einen für die betroffene Person günstigeren Entscheid trifft oder die Sache zum Erlass einer neuen Verfügung zurückweist (<ref-ruling> E. 6.2 S. 235; RKUV 2003 Nr. U 485 S. 253 E. 9.3 [U 307/01]; Urteil I 111/03 vom 19. Mai 2003 E. 4.2). Der Versicherte hat vorinstanzlich die Zusprechung einer ganzen Invalidenrente beantragt. Mit diesem Antrag ist er nicht einmal teilweise durchgedrungen. Daran ändert nichts, dass die Vorinstanz den Invaliditätsgrad erhöhte. Sie hat ihm somit zu Recht die Gerichtskosten auferlegt und keine Parteientschädigung zugesprochen. Die Vorbringen des Versicherten vermögen zu keinem anderen Resultat zu führen. Eine Parteientschädigungspflicht der IV-Stelle kann nicht mit dem Umstand begründet werden, dass er aus dem vorinstanzlichen Entscheid allenfalls höhere Ansprüche gegenüber seiner BVG-Vorsorgeeinrichtung ableiten kann.
9. Der unterliegende Versicherte trägt die Verfahrenskosten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG). Die unentgeltliche Rechtspflege wird ihm gewährt (Art. 64 Abs. 1 und 2 BGG). Er hat der Gerichtskasse Ersatz zu leisten, wenn er später dazu in der Lage ist (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt, indes vorläufig auf die Gerichtskasse genommen.
3. Rechtsanwalt Marco Bivetti wird als unentgeltlicher Anwalt des Beschwerdeführers bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2'800.- ausgerichtet.
4. Dieses Urteil wird den Parteien, dem Bundesverwaltungsgericht und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 15. Juni 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Jancar