Sachverhalt:
A. Der 1961 geborene A._ war seit 1998 bis 31. Januar 2003 als Schlosser bei der Firma F._ AG angestellt. Am 22. Juli 2003 meldete er sich bei der IV-Stelle des Kantons St. Gallen zum Rentenbezug an. Diese holte diverse Arztberichte und ein Gutachten des Zentrums Y._ vom 23. September 2008 ein. Mit Verfügung vom 8. Juni 2010 wies die IV-Stelle das Gesuch des Versicherten um unentgeltliche Verbeiständung im Verwaltungsverfahren ab. Mit Verfügung vom 20. August 2010 verneinte sie den Rentenanspruch.
B. Gegen beide Verfügungen erhob der Versicherte beim Versicherungsgericht des Kantons St. Gallen Beschwerde. Dieses vereinigte die beiden Verfahren. Die den Rentenanspruch betreffende Beschwerde wies es ab. In Gutheissung der anderen Beschwerde gewährte es dem Versicherten die unentgeltliche Verbeiständung für das Verwaltungsverfahren (Entscheid vom 12. Januar 2012).
C. Mit Beschwerde beantragt der Versicherte insofern die Aufhebung des kantonalen Entscheides, als ihm spätestens ab März 2007 mindestens eine halbe Invalidenrente zuzusprechen sei; eventuell sei die Sache im Sinne der Erwägungen an die Vorinstanz oder die IV-Stelle zurückzuweisen. Bei der Vorinstanz wurden die Akten eingeholt. Ein Schriftenwechsel wurde nicht durchgeführt.
Erwägungen:
1. Die Beschwerde kann wegen Rechtsverletzung nach Art. 95 f. BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Immerhin prüft es grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (Art. 42 Abs. 1 und 2 BGG; BGE 133 II 249 E. 1.4.1 S. 254). Es legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG) und wenn die Behebung des Mangels für den Verfahrensausgang entscheidend sein kann (Art. 97 Abs. 1 BGG). Rechtsfragen sind die unvollständige Feststellung rechtserheblicher Tatsachen sowie die Missachtung des Untersuchungsgrundsatzes (Art. 43 Abs. 1, Art. 61 lit. c ATSG) und der Anforderungen an den Beweiswert von Arztberichten (BGE 134 V 231 E. 5.1 S. 232). Die aufgrund medizinischer Untersuchungen gerichtlich festgestellte Arbeitsfähigkeit und die konkrete Beweiswürdigung sind Tatfragen (BGE 132 V 393 E. 3.2 S. 397; nicht publ. E. 4.1 des Urteils BGE 135 V 254, in SVR 2009 IV Nr. 53 S. 164 [9C_204/2009]; Urteil 8C_607/2011 vom 16. März 2012 E. 1).
2. Die Vorinstanz hat die für die Beurteilung des Rentenanspruchs massgebenden gesetzlichen Grundlagen richtig dargelegt. Darauf wird verwiesen.
3. 3.1 Im interdisziplinären Gutachten des Zentrums Y._ der Dres. med. K._, FMH Physikalische Medizin und Rehabilitation/Rheumatologie, und H._, Facharzt Psychiatrie/Psychotherpie, stellvertretender Chefarzt, Klinik T._, sowie des Physiotherapeuten E._ vom 23. September 2008 wurden folgende Diagnosen gestellt: Chronisches zervikovertebrales und -zephales Syndrom; Restbeschwerden und Funktionsstörung nach Daumenkontusion rechts, Tendovaginitis stenosans und Tendovaginitis-Operation mit leichter Wunddeessenz und anschliessendem Wundinfekt mit Antibiosebehandlung und Eröffnung; chronisches, nunmehr unspezifisches lumbospondylogenes Syndrom rechts; symptomatische femoropatelläre sowie mediale Gonarthrose rechts; anhaltende somatoforme Schmerzstörung (ICD-10 F45.4); mittelgradige depressive Episode (ICD-10 F32.1). Ohne Auswirkungen auf die Arbeitsfähigkeit sei eine vor zehn Jahren erlittene Schulterkontusion. Die angestammte Tätigkeit sei dem Versicherten nicht mehr zumutbar. Aus rein rheumatologisch-orthopädischer Sicht sei ihm eine leichte Wechseltätigkeit (im Sinne von nicht andauerndem Sitzen und Stehen, Vermeiden von Arbeiten in Zwangshaltungen) grundsätzlich ganztags zumutbar, wobei ein Bedarf nach vermehrten Pausen von 2 Stunden über den Tag verteilt bestehe. Aus rein psychiatrischer Sicht bestehe eine Arbeitsunfähigkeit von 50 %. Diese Teilarbeitsfähigkeit von 50 % in einer behinderungsangepassten Tätigkeit sei auch aus interdisziplinärer Sicht begründet und nachvollziehbar.
3.2 Die Vorinstanz erwog im Wesentlichen, mangels Entscheidwesentlichkeit könne offen bleiben, ob die Observation des Versicherten im Jahre 2009 zu Recht erfolgt sei. Der zunächst mit der psychiatrischen Begutachtung beauftragte Dr. med. L._, Chefarzt der Klinik T._, sei behandelnder Arzt des Versicherten gewesen, weshalb er die Begutachtung durch Dr. med. H._, seinen Stellvertreter und Untergebenen, habe durchführen lassen; dieses Vorgehen wecke ernsthafte Bedenken. Da indessen auf die Arbeitsfähigkeitsschätzung des Dr. med. H._ nicht abzustellen sei, erübrigten sich Weiterungen zur Beweistauglichkeit seines Gutachtens. Im Lichte der von ihm erhobenen Befunde und aufgrund des psychosomatischen Konsiliums der Rehaklinik Z._ vom 1. März 2005 sowie der Berichte des Hausarztes Dr. med. S._, Arzt für Allgemeine Medizin FMH, vom 24. und 27. Februar 2004 werde das psychische Beschwerdebild des Versicherten durch ausgeprägte psychosoziale Faktoren bestimmt. Von einem invalidisierenden psychischen Gesundheitsschaden, dessen Überwindung ihm nicht zumutbar sei, könne unter diesen Umständen nicht gesprochen werden. Die von Dr. med. H._ bescheinigte 50%ige Arbeitsunfähigkeit in angepasster Tätigkeit sei daher nicht zu berücksichtigen. Diese Sichtweise werde durch das psychiatrische Gutachten des Dr. med. B._ vom 2. Januar 2006 bestätigt, wonach eine 100%ige Arbeitsfähigkeit bestanden habe. In somatischer Hinsicht sei auf die Expertise des Zentrums Y._ vom 23. September 2008 abzustellen. Demnach sei von einer 75%igen Restarbeitsfähigkeit des Versicherten auszugehen.
4. Die vorinstanzliche Sachverhaltsfeststellung, der Versicherte sei somatischerseits in einer leidensangepassten Tätigkeit zu 75 % arbeitsfähig, wird nicht substanziiert bestritten. Er erhebt keine Rügen, welche dies als offensichtlich unrichtig oder als Ergebnis willkürlicher Beweiswürdigung oder als rechtsfehlerhaft nach Art. 95 BGG erscheinen lassen. Hiermit hat es demnach sein Bewenden.
5. Streitig und zu prüfen ist die psychische Problematik. Zu den vom Bundesgericht nur eingeschränkt überprüfbaren Tatsachenfeststellungen zählt, ob eine anhaltende somatoforme Schmerzstörung (oder ein damit vergleichbarer syndromaler Zustand) vorliegt, und bejahendenfalls, ob eine psychische Komorbidität oder weitere Umstände gegeben sind, welche die Schmerzbewältigung behindern. Als Rechtsfrage frei überprüfbar ist, ob eine festgestellte psychische Komorbidität hinreichend erheblich ist und ob einzelne oder mehrere der festgestellten weiteren Kriterien in genügender Intensität und Konstanz vorliegen, um gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzstörung und somit auf eine invalidisierende Gesundheitsschädigung zu gestatten (BGE 137 V 64 E. 1.2 und 4.1 S. 66 ff.).
6. 6.1 Der Versicherte wendet ein, der Regionale Ärztliche Dienst (RAD) der IV-Stelle habe am 13. November 2008 das Gutachten des Zentrums Y._ vom 23. September 2008 ausdrücklich als zutreffend und verwertbar qualifiziert. Die Vorinstanz habe durch den Ausschluss des psychiatrischen Teilgutachtens seinen Anspruch auf rechtliches Gehör verletzt, weil diese Wendung bzw. Begründung überraschend sei und er bzw. die Parteien dazu hätten angehört werden müssen. Er sei ohne Reaktionsmöglichkeit in den Beweisnotstand versetzt worden, was nicht angehe. Die Vorinstanz hätte ihm nicht nur die Möglichkeit zur Reaktion geben, sondern eine andere psychiatrische Begutachtung anordnen müssen. Das Abweichen vom zuvor nie bemängelten Gutachten einer anerkannten psychiatrischen Institution unter Hinweis auf Berichte aus den Jahren 2005 und 2006 sei rechtlich unhaltbar und willkürlich.
6.2 Der RAD führte am 17. November 2009 aus, entgegen dem Gutachten des Zentrums Y._ vom 23. September 2008 sei eine relevante Arbeitsunfähigkeit des Versicherten nicht ausgewiesen; am 29. Juni 2010 bekräftigte es, in körperlich angepasster Tätigkeit sei eine ganztägige Arbeitsfähigkeit anzunehmen. Entgegen dem Versicherten stellten somit bereits der RAD und ihm folgend die IV-Stelle in der streitigen Verfügung vom 20. August 2010 nicht auf das Gutachten des Zentrums Y._ ab. Von einer nicht zu erwartenden vorinstanzlichen Argumentation kann somit nicht die Rede sein.
6.3 Der Versicherte bringt letztinstanzlich keine konkreten gesetzlichen Ausstands- und/oder Ablehnungsgründe gegen den psychiatrischen Gutachter Dr. med. H._ vor. Entsprechende Rügen wären ohnehin verwirkt (BGE 132 V 93 E. 7.4.2 S. 112; Urteil 8C_15/2012 vom 30. April 2012 E. 5.2.3).
7. Im Gutachten des Zentrums Y._ vom 23. September 2008 wurden psychischerseits eine anhaltende somatoforme Schmerzstörung (ICD-10 F45.4) und eine mittelgradige depressive Episode (ICD-10 F32.1) diagnostiziert. Hierzu ist festzuhalten, dass mittelgradige depressive Episoden praxisgemäss regelmässig keine von depressiven Verstimmungszuständen klar unterscheidbare andauernde Depression im Sinne eines verselbstständigten Gesundheitsschadens bilden, die es der betroffenen Person verunmöglichten, die Folgen der bestehenden Schmerzproblematik zu überwinden. Es besteht mithin keine relevante psychische Komorbidität (Urteile 8C_213/2012 vom 13. April 2012 E. 3.2 und 9C_749/2010 vom 23. November 2010 E. 4.3.1). Zudem legte die Vorinstanz zutreffend dar, dass das Beschwerdebild des Versicherten seit Jahren in hohem Masse von - grundsätzlich invaliditätsfremden und daher auszuklammernden (BGE 127 V 294 E. 5a S. 299; SVR 2012 IV Nr. 1 S. 1 E. 3.4.1 [9C_1040/2010]); Urteil 8C_213/2012 E. 3.2) - psychosozialen Belastungsfaktoren geprägt wird (vgl. psychiatrisches Teilgutachten des Dr. med. H._ vom 14. Juli 2008: als wesentliche psychosoziale Belastung sei die Existenzangst nach subjektivem Verlust der körperlichen Integrität und Leistungsfähigkeit zu sehen, auf die der Versicherte seine Selbstsicherheit und Existenzgrundlage gegründet habe; psychosomatisches Konsilium der Rehaklinik Z._ vom 1. März 2005: die Hauptbelastung scheine vor allem subjektiv von den wirtschaftlichen Schwierigkeiten und den verdüsterten Zukunftsaussichten für seine zahlreichen Kinder auszugehen; Bericht des Hausarztes Dr. med. S._ vom 24. Februar 2004: seine somatischen Beschwerden würden durch psychosoziale Gründe, insbesondere existenzielle Ängste bei relativ grosser Familie, und den Verlust der Arbeitsstelle verstärkt).
Schliesslich sind keine anderweitigen Umstände dargetan oder ersichtlich, die in genügender Intensität und Konstanz gesamthaft den Schluss auf eine nicht mit zumutbarer Willensanstrengung überwindbare Schmerzproblematik und somit deren invalidisierenden Charakter gestatteten (vgl. dazu im Detail BGE 137 V 64 E. 4.1 S. 66 f.). Von weiteren medizinischen Abklärungen ist abzusehen, da hievon keine neuen Erkenntnisse zu erwarten sind (antizipierte Beweiswürdigung; BGE 137 V 64 E. 5.2 S. 69, 136 I 229 E. 5.3 S. 236).
8. 8.1 In erwerblicher Hinsicht (zum Einkommensvergleich siehe BGE 135 V 297 E. 5.1 f. S. 300 f.; zur bundesgerichtlichen Kognition vgl. BGE 132 V 393 E. 3.3 S. 399) erwog die Vorinstanz, aus dem individuellen Konto (IK) des Versicherten ergebe sich, dass er in den Jahren 1998 bis 2002 bei der ehemaligen Arbeitgeberin stark schwankende Jahreseinkommen (1998 Fr. 52'000.- [Grundlohn gemäss Unfallmeldung vom 28. Mai 1998], 1999 Fr. 53'940.-, 2000 Fr. 72'817.-, 2001 Fr. 72'985.-, 2002 Fr. 59'022.-) erzielt habe. Nur die in den Jahren 2000 und 2001 erzielten Einkommen hätten mehr als 20 % über dem vereinbarten Monatslohn gelegen und seien auf geleistete Überzeit zurückzuführen gewesen. Weder vorher noch nachher habe er ein vergleichbar hohes Einkommen erzielt. Hinzu komme, dass die damalige Arbeitgeberin konkurshalber im Januar 2005 aufgelöst worden sei, mithin der Versicherte auch im Gesundheitsfall sein letztes Arbeitsverhältnis nicht fortgeführt hätte. Da somit für die Bestimmung des ohne Gesundheitsschaden erzielbaren Einkommens (Valideneinkommen) keine repräsentative Grundlage stehe, sei entsprechend der Bestimmung des trotz Gesundheitsschadens zumutbarerweise erzielbaren Einkommens (Invalideneinkommen) auf die Tabelle TA1 der Schweizerischen Lohnstrukturerhebung (LSE) des Bundesamtes für Statistik, Total sämtlicher Wirtschaftszweige, Anforderungsniveau 4 (einfache und repetitive Tätigkeiten), Männer, abzustellen. Beim Invalideneinkommen sei ein Tabellenlohnabzug von 10 % angemessen, weshalb unter Berücksichtigung der 75%igen Arbeitsfähigkeit ein rentenausschliessender Invaliditätsgrad von aufgerundet 33 % (100 % - [75 % x 0.9]) resultiere.
8.2 Der Versicherte wendet ein, beim Valideneinkommen müsse zweifellos der in den Jahren 2000 und 2001 erzielte Lohn zur Grundlage genommen werden; nur weil vier Jahre später ein Konkurs erfolgt sei, wäre er bei guter Gesundheit ohne Weiteres in ähnlicher Position bei einem anderen Unternehmen untergekommen. Die Begründung der IV-Stelle, das Valideneinkommen von Fr. 81'000.- sei nicht zu berücksichtigen, weil er im Jahre 2000 bei voller Arbeitsleistung 13 x Fr. 4'600.- verdient habe, gehe an der Sache vorbei, weil sich aus dem IK ergebe, dass er in den Jahren 2000 (Fr. 72'817.-) und 2001 (Fr. 72'985.-) mehr verdient und im Jahre 2002 aus gesundheitlichen Gründen (2. Handoperation vom 28. August 2002) ein reduziertes Einkommen erzielt habe. Eventuell sei vom Anforderungsniveau 3 (Berufs- und Fachkenntnisse vorausgesetzt), Position 45 (Baugewerbe) für das Jahr 2008 auszugehen. Er sei seit 1984 in der Schweiz, verfüge über gute handwerkliche Kenntnisse und Fertigkeiten, habe hier 1985/86 eine Anlehre als Schlosser gemacht und danach als Spengler zwölf Jahre auf dem Dach und noch fünf Jahre als Bauschlosser gearbeitet.
8.3 Aufgrund der Angabe der Firma F._ AG vom 15. August 2003 steht fest, dass die Kündigung des Arbeitsverhältnisses mit dem Versicherten per 31. Januar 2003 aus wirtschaftlichen Gründen (Externvergabe des Behälterbaus) erfolgte; zudem ist unbestritten, dass diese Firma im Januar 2005 wegen Konkurses aufgelöst wurde. Damit hätte der Versicherte auch ohne Gesundheitsschädigung nicht mehr bei ihr arbeiten können. Bei der Bestimmung des Valideneinkommens kann demnach nicht vom Lohn bei dieser Firma ausgegangen werden. Angesichts der im Übrigen divergierenden Lohnangaben für die Jahre 1998-2002 ist es somit nicht zu beanstanden, dass die Vorinstanz das Valideneinkommen gestützt auf den LSE-Tabellenlohn ermittelt hat (vgl. auch Urteile 8C_249/2010 vom 1. Juni 2010 E. 7.1 und I 169/04 vom 17. Januar 2005 E. 6.2.2).
Soweit der Versicherte die Berechnung des Valideneinkommens aufgrund der LSE-Tabelle Anforderungsniveau 3, Position 45 (Baugewerbe) verlangt, ist Folgendes festzuhalten: Unbestritten ist, dass er bei der Firma F._ AG im Jahre 1998 zu einem Jahresgrundlohn von Fr. 52'000.- angestellt wurde. Dieser Lohn lag - trotz der vom Versicherten absolvierten Schlosser-Anlehre - erheblich unter dem gestützt auf die LSE-Tabelle für das Jahr 1998 ermittelten Einkommen von Fr. 55'125.-, welches für Männer im Baugewerbe im Anforderungsniveau 4 bezahlt wurde (Fr. 4'344.- [bei 40 Wochenarbeitsstunden] x 12, hochgerechnet auf 42,3 Stunden betriebsübliche wöchentliche Arbeitszeit im Baugewerbe im Jahre 1998 [vgl. Die Volkswirtschaft, 9-2007, S. 98 Tabelle B9.2]). Es sind demnach keine Gründe ersichtlich, beim Valideneinkommen vom Anforderungsniveau 3 auszugehen, zumal der Versicherte nicht substanziiert geltend macht, seither - neben dem von der Vorinstanz festgestellten Mehrlohn wegen Überzeitarbeit (E. 8.1 hievor) - aufgrund seiner beruflichen Qualifikation Lohnerhöhungen erhalten zu haben, die das Anforderungsniveau 4 überstiegen hätten. Wenn beim Valideneinkommen mithin auf die LSE-Tabelle TA1, Position Baugewerbe, Männer, Anforderungsniveau 4, abgestellt wird, ergibt sich für das Jahr 2010 (massgebender Zeitpunkt des Verfügungserlasses; BGE 132 V 215 E. 3.1.1 S. 320) ein Lohn von Fr. 66'269.- (Fr. 5'310.- [bei 40 Wochenarbeitsstunden] x 12, hochgerechnet auf 41,6 Stunden betriebsübliche wöchentliche Arbeitszeit im Baugewerbe im Jahre 2010 [vgl. Die Volkswirtschaft, 4-2012, S. 94 Tabelle B9.2]). Das Invalideneinkommen im Jahr 2010 beträgt gestützt auf diese Tabelle bei 75%iger Arbeitsfähigkeit und 10%igem Leidensabzug Fr. 41'286.- (Fr. 4'901.- [Bruttolohn "Total" für Männer im Anforderungsniveau 4 bei 40 Wochenarbeitsstunden] x 12, hochgerechnet auf 41,6 Stunden betriebsübliche wöchentliche Arbeitszeit "Total" im Jahre 2010 [vgl. Die Volkswirtschaft, 4-2012, S. 94 Tabelle B9.2] x 0,75 x 0,9). Dies führt zu einem rentenausschliessenden Invaliditätsgrad von gerundet 38 % (zur Rundung: BGE 130 V 121).
9. Der unterliegende Versicherte trägt die Verfahrenskosten (Art. 66 Abs. 1, Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 5. Juni 2012
Im Namen der I. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Ursprung
Der Gerichtsschreiber: Jancar