Sachverhalt:
A. Mit Verfügung vom 20. Dezember 2002 sprach die IV-Stelle des Kantons St. Gallen dem 1962 geborenen A._ ab 1. November 2001 eine halbe Rente der Invalidenversicherung zu. Unter Hinweis auf einen aktuellen Bericht seines Hausarztes Dr. med. M._ ersuchte A._ am 23. März 2004 um Überprüfung der Rente. Nach Abklärungen hob die IV-Stelle mit Verfügung vom 24. Januar 2006 die Rente revisionsweise auf Ende Februar 2006 auf mit der Begründung, der Gesundheitszustand des Versicherten habe sich verbessert und die Erzielung eines rentenausschliessenden Einkommens sei möglich. Die Verwaltung und das kantonale Versicherungsgericht bestätigten die Rentenaufhebung mit Einspracheentscheid vom 16. August 2006 resp. Entscheid vom 2. November 2007. Das Bundesgericht hiess mit Urteil 9C_73/2008 vom 21. Mai 2008 die Beschwerde des A._ gut, hob die genannten Entscheide auf und wies die Sache an die IV-Stelle zurück, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Rentenanspruch neu verfüge. Nach weiteren Ermittlungen und Durchführung des Vorbescheidverfahrens bestätigte die IV-Stelle mit Verfügung vom 25. Oktober 2010 die Rentenaufhebung auf Ende Februar 2006.
B. In Gutheissung der Beschwerde des A._ hob das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 17. Februar 2012 die Verfügung vom 25. Oktober 2010 auf und sprach ihm ab 1. Juli 2006 eine ganze und ab 1. März 2007 eine halbe Invalidenrente zu.
C. Die IV-Stelle führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Rechtsbegehren, der Entscheid vom 17. Februar 2012 sei aufzuheben.
A._ lässt auf Abweisung der Beschwerde schliessen. Ferner lässt er um unentgeltliche Rechtspflege ersuchen. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann unter anderem die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 2 BGG).
2. 2.1 Die Vorinstanz ist der Auffassung, die Rente des Beschwerdegegners sei im Juli 2006 wiederaufgelebt. Sie hat festgestellt, dass er vom 11. Juli bis 2. November 2006 stationär in der psychiatrischen Klinik W._ behandelt worden sei und während dieser Zeit deshalb keine verwertbare Restarbeitsfähigkeit bestanden habe. Folglich hat sie - unter Berücksichtigung der dreimonatigen Frist gemäss Art. 88a Abs. 1 IVV - einen Anspruch auf eine ganze Invalidenrente vom 1. Juli 2006 bis 28. Februar 2007 bejaht.
Weiter hat sie dem Verlaufsgutachten des Instituts X._ vom 30. März 2009 Beweiskraft beigemessen und gestützt darauf eine Restarbeitsfähigkeit von 50 % festgestellt. In einem Prozentvergleich und unter Berücksichtigung eines Tabellenlohnabzuges von 15 % hat sie einen Invaliditätsgrad von 58 % ermittelt und dementsprechend dem Versicherten ab 1. März 2003 eine halbe Rente zugesprochen.
2.2 Die IV-Stelle stellt einzig die Beweiskraft des Gutachtens des Instituts X._ und die sich darauf beziehenden vorinstanzlichen Sachverhaltsfeststellungen in Abrede. Was die rückwirkende Zusprechung einer Rente vom 1. Juli 2006 bis 28. Februar 2007 anbelangt, kann ihren Ausführungen auch nicht ansatzweise entnommen werden, inwiefern die vorinstanzlichen Feststellungen unzutreffend im Sinne von Art. 97 Abs. 1 BGG und die darauf beruhenden Erwägungen rechtsfehlerhaft im Sinne von Art. 95 BGG sein sollen. Diesbezüglich genügt die Beschwerde den inhaltlichen Mindestanforderungen von Art. 42 Abs. 1 und 2 BGG offensichtlich nicht und ist darauf nicht einzutreten.
3. 3.1 Auch wenn eine invalidisierende Wirkung einer mittelschweren depressiven Störung nicht von vornherein auszuschliessen ist, bedingt deren Annahme jedenfalls, dass es sich dabei nicht bloss um die Begleiterscheinung einer Schmerzkrankheit handelt (vgl. in Bezug auf mittelgradige depressive Episoden Urteil 9C_736/2011 vom 7. Februar 2012 E.4.2.2.1 mit Hinweisen), sondern um ein selbstständiges, vom psychogenen Schmerzsyndrom losgelöstes depressives Leiden (Urteil 9C_869/2011 vom 18. April 2012 E. 4.5; SVR 2008 IV Nr. 1 S. 1, I 176/06 E. 5.2). Fehlt es daran, ist nach der Rechtsprechung in der Regel keine invalidisierende Wirkung des Gesundheitsschadens anzunehmen (BGE 137 V 64; 130 V 352).
3.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln (Art. 61 lit. c ATSG; vgl. auch BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352) Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (Art. 106 Abs. 1 BGG).
3.2 Bei den vorinstanzlichen Feststellungen zum Gesundheitszustand und zur Arbeitsfähigkeit der versicherten Person handelt es sich grundsätzlich um Entscheidungen über eine Tatfrage (BGE 132 V 393 E. 3.2 S. 397 ff.), welche das Bundesgericht seiner Urteilsfindung zugrunde zu legen hat (E. 1). Die konkrete Beweiswürdigung stellt ebenfalls eine Tatfrage dar. Dagegen ist die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln (Art. 61 lit. c ATSG; vgl. auch BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352) Rechtsfrage (BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil I 865/06 vom 12. Oktober 2007 E. 4 mit Hinweisen), die das Bundesgericht im Rahmen der den Parteien obliegenden Begründungs- bzw. Rügepflicht (Art. 42 Abs. 2 BGG und Art. 106 Abs. 2 BGG; BGE 133 II 249 E. 1.4.1 und 1.4.2 S. 254) frei überprüfen kann (Art. 106 Abs. 1 BGG).
3.3 3.3.1 Für die Beurteilung der Arbeits(un)fähigkeit stützt sich die Verwaltung und im Beschwerdefall das Gericht auf Unterlagen, die von ärztlichen und gegebenenfalls auch anderen Fachleuten zur Verfügung zu stellen sind. Aufgabe des Arztes oder der Ärztin ist es, den Gesundheitszustand zu beurteilen und dazu Stellung zu nehmen, in welchem Umfang und bezüglich welcher Tätigkeiten die versicherte Person arbeitsunfähig ist. Hinsichtlich des Beweiswertes eines Arztberichtes ist entscheidend, ob dieser für die streitigen Belange umfassend ist, auf allseitigen Untersuchungen beruht, auch die geklagten Beschwerden berücksichtigt, in Kenntnis der Vorakten (Anamnese) abgegeben worden ist, in der Beurteilung der medizinischen Zusammenhänge sowie der medizinischen Situation einleuchtet und ob die Schlussfolgerungen der Experten begründet sind (BGE 134 V 231 E. 5.1 S. 232; 125 V 351 E. 3a S. 352 mit Hinweis).
3.3.2 Im Rahmen der freien Beweiswürdigung (Art. 61 lit. c ATSG) darf sich die Verwaltung - und im Streitfall das Gericht - weder über die (den beweisrechtlichen Anforderungen genügenden) medizinischen Tatsachenfeststellungen hinwegsetzen noch sich die ärztlichen Einschätzungen und Schlussfolgerungen zur (Rest-)Arbeitsfähigkeit unbesehen ihrer konkreten sozialversicherungsrechtlichen Relevanz und Tragweite zu eigen machen. Die rechtsanwendenden Behörden haben diesfalls mit besonderer Sorgfalt zu prüfen, ob die ärztliche Einschätzung der Arbeitsunfähigkeit auch invaliditätsfremde Gesichtspunkte (insbesondere psychosoziale und soziokulturelle Belastungsfaktoren) mitberücksichtigt, die vom sozialversicherungsrechtlichen Standpunkt aus unbeachtlich sind (vgl. BGE 130 V 352 E. 2.2.5 S. 355 f.; 127 V 294 E. 5a S. 299; SVR 2012 IV Nr. 22 S. 95, 8C_302/2011 E. 2.5.1). Wo psychosoziale Einflüsse das Bild prägen, ist bei der Annahme einer rentenbegründenden Invalidität Zurückhaltung geboten (vgl. BGE 127 V 294 E. 5a S. 299; Urteil 9C_1041/2010 vom 30. März 2011 E. 5.1).
4. 4.1 Im Gutachten des Instituts X._ vom 30. März 2009 wurden folgende Diagnosen mit Einfluss auf die Arbeitsfähigkeit gestellt:
"1. Rezidivierende depressive Störung, gegenwärtig mittelgradige Episode (ICD-10 F33.1)
2. Anhaltende somatoforme Schmerzstörung (ICD-10 F45.4)
3. chronifiziertes lumbal- und zervikalbetontes Panvertebralsyndrom mit Tendenz zu Schmerzgeneralisierung und mit Symptomausweitung (ICD-10 M53.8)
- Status nach radikulärem Syndrom S1 links bei Diskopathie L5/S1 (MRI der LWS 1997)"
Das kantonale Gericht hat zutreffend (E. 1) festgestellt, dass die Gutachter des Instituts X._ die Einschränkung der Arbeitsfähigkeit lediglich mit der depressiven Störung begründeten. Seiner Auffassung, dass deswegen und mit Blick auf die Reihenfolge der Diagnosen nicht von einer blossen Begleiterscheinung zum Schmerzleiden gesprochen werden könne, ist indessen nicht beizupflichten. Zur Frage, ob es sich bei der rezidivierenden depressiven Störung, gegenwärtig mittelgradige Episode, um einen Begleitumstand des Schmerzsyndroms oder um ein selbstständiges, vom psychogenen Schmerzsyndrom losgelöstes depressives Leiden handelt (E. 3.1), haben sich die Experten im Gutachten des Instituts X._ vom 30. März 2009 weder explizit noch indirekt geäussert. In den medizinischen Unterlagen finden sich indessen klare Anhaltspunkte dafür, dass die Diagnosen in engem Zusammenhang stehen: Von "depressiven Verstimmungen" ist erstmals im Bericht des Hausarztes vom 25. November 2000 die Rede, mithin mehrere Jahre nach dem Auftreten des Schmerzsyndroms (vgl. Bericht desselben vom 8. Februar 1998). Bereits im MEDAS-Gutachten vom 6. Mai 2002 war der begutachtende Psychiater der Auffassung, dass sich "im Gefolge chronischer lumbovertebraler Schmerzen [...] eine zunehmende, vorwiegend reaktiv bedingte depressive Störung entwickelt" habe. Im früheren Gutachen des Instituts X._ vom 27. Oktober 2005 wurde ausgeführt, dass sowohl die (bereits damals diagnostizierte) anhaltende somatoforme Schmerzstörung als auch die "depressiven Verstimmungen" (rezidivierende depressive Störung, gegenwärtig leichte Episode [ICD10 F32.0]) im Rahmen einer "psychosozialen Belastungssituation" zu sehen seien. Nach Auffassung des Dr. med. B._ (Bericht vom 14. Juni 2006) beruhen die "Depression und somatoforme Schmerzstörung" auf einer ",negativistischen' Persönlichkeit". Schliesslich legte der Hausarzt am 10. Februar 2011 dar, dass der Versicherte "wegen der Schmerzen und der Perspektivelosigkeit bezüglich Arbeit und Rente an einer Depression" leide.
4.2 Selbst wenn ein selbstständiges, vom Schmerzsyndrom losgelöstes depressives Leiden vorläge, ist im konkreten Fall nicht von einer sozialversicherungsrechtlich relevanten Einschränkung der Arbeitsfähigkeit auszugehen.
Im Gutachten des Instituts X._ vom 30. März 2009 setzte sich der psychiatrische Experte auch mit den Ursachen der "seit Jahren bestehenden" rezidivierenden depressiven Störung resp. deren Verschlimmerung nach der 2006 erfolgten Rentenaufhebung auseinander. Dabei verwies er mehrmals auf die angespannte finanzielle Situation des Beschwerdeführers, der "sich nichts leisten" und "seine Familie nicht unterstützen" könne. Sowohl die wirtschaftlichen Schwierigkeiten als auch die hauptsächlich darauf beruhenden depressiven Störungen und "aggressiven Verhaltensweisen" sieht er "wesentlich" in der ausgeprägten subjektiven Krankheitsüberzeugung begründet. Etwas anderes geht auch aus den übrigen medizinischen Unterlagen nicht hervor; insbesondere verwies auch Dr. med. B._ im Bericht vom 21. Februar 2011 auf eine "negativistische Erlebensweise" und damit auf subjektive Ansichten des Versicherten. Die vorinstanzlich festgestellten biografischen Ereignisse (beschränkte Schulbildung, ungerechtfertigte Anschuldigung einer Brandstiftung und Schadenersatzforderung, Pneumothorax 1989, Autounfall 1992, bestrittener Vorwurf der Kassenmanipulation und Kündigung 1997) mögen zwar für den Betroffenen belastend sein, sie erscheinen indessen nicht dermassen gravierend, dass eine Kausalität zu der depressiven Störung angenommen werden muss. Dafür findet sich denn auch kein Anhaltspunkt im - in Bezug auf den medizinischen Sachverhalt beweiskräftigen (E. 3.3.1) - Gutachten des Instituts X._, obwohl die Experten über die Geschehnisse im Bild waren, wie aus der Sozial- und Arbeitsanamnese hervorgeht. Damit findet die rezidivierende depressive Störung, gegenwärtig mittelgradige Episode, ihre hinreichende Erklärung in psychosozialen Umständen und subjektiven Auffassungen, weshalb sie im Rahmen der invalidenversichungsrechtlichen Leistungszusprache nicht zu berücksichtigen ist (E. 3.3.2; SVR 2012 IV Nr. 22 S. 95, 8C_302/2011 E. 2.5.2; Nr. 1 S. 1, 9C_1040/2010 E. 3.4.2.2).
4.3 Dass die ebenfalls diagnostizierte anhaltende somatoforme Schmerzstörung eine invalidisierende Arbeitsunfähigkeit bewirken soll (BGE 137 V 64; 130 V 352), wurde nicht geltend gemacht und ist auch nicht ersichtlich. Der Anspruch auf eine Invalidenrente ist nach dem Gesagten mangels eines relevanten Gesundheitsschadens ab 1. März 2007 zu verneinen. Insoweit ist die Beschwerde begründet.
5. Entsprechend dem Ausgang des Verfahrens hat der Beschwerdegegner den überwiegenden Teil der Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG). Hingegen hat er Anspruch auf eine reduzierte Parteikostenentschädigung (Art. 68 Abs. 1 BGG). Seinem Gesuch um unentgeltliche Rechtspflege, soweit es nicht gegenstandslos geworden ist, kann jedoch entsprochen werden (Art. 64 BGG; BGE 125 V 201 E. 4a S. 202). Es wird indessen ausdrücklich auf Art. 64 Abs. 4 BGG hingewiesen, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten hat, wenn sie später dazu in der Lage ist.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen, soweit darauf einzutreten ist. Der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 17. Februar 2012 wird aufgehoben, soweit er den Rentenanspruch ab 1. März 2007 betrifft.
2. Dem Beschwerdegegner wird die unentgeltliche Rechtspflege gewährt.
3. Von den Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin Fr. 100.- und dem Beschwerdegegner Fr. 400.- auferlegt. Der Anteil des Beschwerdegegners wird vorläufig auf die Gerichtskasse genommen.
4. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 500.- zu entschädigen.
5. Rechtsanwalt Martin Boltshauser wird als unentgeltlicher Anwalt des Beschwerdegegners bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 2000.- ausgerichtet.
6. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
7. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. Juli 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Dormann