Sachverhalt:
A. A.a Mit Verfügung vom 24. Oktober 2002 sprach die IV-Stelle des Kantons St. Gallen A._, geboren 1953, aufgrund eines Invaliditätsgrades von 63 % ab Dezember 2001 eine halbe Rente der Invalidenversicherung zu. Am 3. Januar 2003 ersuchte A._ um Erhöhung der Rente, da sich sein Gesundheitszustand verschlechtert habe. Nachdem ein vom Ärztlichen Begutachtungsinstitut GmbH (ABI) am 12. September erstattetes Gutachten eine Leistungseinschränkung von höchstens 10 % ergeben hatte, stellte die IV-Stelle die Ausrichtung der Rente mit Verfügung vom 26. Juli 2004 revisionsweise auf Ende August 2004 ein, woran sie mit Einspracheentscheid vom 15. Dezember 2004 festhielt. Das Versicherungsgericht des Kantons St. Gallen hiess die hiegegen eingereichte Beschwerde mit Entscheid vom 15. September 2005 gut und hob den Einspracheentscheid vom 15. Dezember 2004 auf. Das Gericht erachtete die Voraussetzungen, unter denen auf die rentenzusprechende Verfügung vom 24. Oktober 2002 zurückgekommen werden dürfe, als nicht gegeben. In den Erwägungen hielt es u.a. fest, da die Rente auf einem IV-Grad von 63 % ausgerichtet werde, werde sich die IV-Stelle mit der Frage zu beschäftigen haben, ob nach der 4. IV-Revision eine Dreiviertelsrente nachzuzahlen sei. Dieser Entscheid ist in Rechtskraft erwachsen.
A.b Am 21. Februar 2006 ersuchte A._ um Ausrichtung einer Dreiviertelsrente ab 1. Januar 2004. Mit Verfügung vom 17. August 2006 teilte ihm die IV-Stelle mit, dass er bei einem Invaliditätsgrad von nunmehr 58 % ab 1. September 2004 Anspruch auf eine halbe Rente habe. Auf das Erhöhungsbegehren trat die IV-Stelle mit Verfügung vom 4. September 2006 nicht ein.
B. Das Versicherungsgericht des Kantons St. Gallen hiess die gegen die beiden Verfügungen erhobene Beschwerde mit Entscheid vom 6. März 2008 gut, hob die Verfügungen vom 17. August und 4. September 2006 auf und sprach A._ ab 1. Januar 2004 eine Dreiviertelsrente zu.
C. Die IV-Stelle führt Beschwerde mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben und ihre Verfügung vom 17. August 2006 sei zu bestätigen. Es sei festzustellen, dass A._ Anspruch auf eine halbe Rente habe. Eventuell sei die IV-Rente ganz einzustellen.
A._ lässt auf Abweisung der Beschwerde schliessen, während das Bundesamt für Sozialversicherungen - unter Hinweis auf die Ausführungen der IV-Stelle - deren Gutheissung beantragt.

Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten kann nach <ref-law> die Verletzung von Bundesrecht gerügt werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (<ref-law>).
2. Streitig ist die Höhe des Rentenanspruchs ab 1. Januar 2004.
2.1 Die von der Beschwerdeführerin als erstes aufgeworfene und von der Vorinstanz verneinte Frage, ob sie überhaupt berechtigt war, eine Rentenrevision durchzuführen, kann offen bleiben, ergibt doch ein korrekt durchgeführter Einkommensvergleich (siehe E. 2.2.1 - 2.2.3), dass der angefochtene Entscheid im Ergebnis (Anspruch auf eine Dreiviertelsrente) richtig ist. Es erübrigt sich daher, sich mit der Frage auseinanderzusetzen, ob innerhalb eines Jahres seit Inkrafttreten der 4. IV-Revision am 1. Januar 2004 nebst Renten von weniger als 40 % einzig bestimmte ganze Renten (so Urteil 9C_285/2008 vom 18. August 2008 E. 2.2) oder auch laufende halbe Renten mit - wie hier - einem Invaliditätsgrad von mindestens 60 % (so SVR 2006 IV Nr. 48 [I 586/04] S. 176 E. 2.2.2; vgl. auch Kreisschreiben über Invalidität und Hilflosigkeit in der Invalidenversicherung [KSHI] vom 1. Januar 2004 [KSHI], Rz. 10.011) voraussetzungslos einer Revision zu unterziehen sind.
2.2 Zwar finden sich im angefochtenen Entscheid keine Feststellungen zur Frage, ob am 1. Januar 2004 die tatsächlichen und rechtlichen Voraussetzungen für die Ausrichtung einer halben oder einer Dreiviertelsrente gegeben waren. Eine Rückweisung an die Vorinstanz zur Ergänzung des Sachverhaltes erübrigt sich indessen, da sich der Invaliditätsgrad anhand der vorhandenen Akten ohne Weiteres ermitteln lässt:
2.2.1 Es ist unbestritten, dass sich der Gesundheitszustand des Beschwerdegegners seit der ursprünglichen Rentenverfügung nicht verändert hat. Es ist daher von einer um 50 % eingeschränkten Arbeitsfähigkeit auszugehen.
2.2.2 Das zeitmässig auf den Verhältnissen im Januar 2002 fussende, betragsmässig unbestrittene Valideneinkommen von Fr. 62'400.- ist indessen - wie der Beschwerdegegner zu Recht vorbringt - der seither eingetretenen Nominallohnentwicklung anzupassen. 2002 betrug diese 1,8 % und 2003 1,4 % (Die Volkswirtschaft 3/2007 S. 91 Tabelle B10.2), was ein im Gesundheitsfall erzielbares Einkommen von Fr. 64'412.50 ergibt.
2.2.3 Beim Invalideneinkommen ist vom monatlichen Bruttolohn von Männern in einfachen und repetitiven Tätigkeiten des privaten Sektors von Fr. 4588.- gemäss der Schweizerischen Lohnstrukturerhebung 2004 des Bundesamtes für Statistik auszugehen (vgl. <ref-ruling> E. 4.2.1 S. 475 ff.). Daraus ergibt sich bei einer betriebsüblichen wöchentlichen Arbeitszeit von 41,6 Stunden (Die Volkswirtschaft a.a.O. S. 90 Tabelle B9.2) und einem zumutbaren Arbeitspensum von 50 % Fr. 28'629.-. Bei einem wie von der IV-Stelle gewährten Leidensabzug von 10 % resultiert ein Betrag von Fr. 25'766.-. Soweit der Beschwerdegegner einen Leidensabzug von 20 % verlangt, ist darauf hinzuweisen, dass die Gewährung des leidensbedingten Abzuges (vgl. dazu <ref-ruling>) eine typische Ermessensfrage ist, deren Beantwortung letztinstanzlicher Korrektur nur mehr dort zugänglich ist, wo das Ermessen rechtsfehlerhaft ausgeübt worden ist, also Ermessensüberschreitung, -missbrauch oder -unterschreitung vorliegt (<ref-ruling> E. 3.3 S. 399). Ob dies hier zutrifft, kann offen bleiben, da dies am Ergebnis ohnehin nichts ändern würde.
2.3 Aus dem Vergleich der beiden hypothetischen Einkommen resultiert eine Erwerbseinbusse von 59,99 %, was gerundet (siehe zum Runden <ref-ruling>) einen Invaliditätsgrad von 60 % ergibt. Der Beschwerdegegner hat somit ab 1. Januar 2004 Anspruch auf eine Dreiviertelsrente. Im Ergebnis ist daher der angefochtene Entscheid bundesrechtskonform.
3. Die Gerichtskosten werden der unterliegenden Beschwerdeführerin auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird im Sinne der Erwägungen abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdeführerin auferlegt.
3. Die Beschwerdeführerin hat den Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Schweizerischen Baumeisterverbandes und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 30. Oktober 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Das präsidierende Mitglied: Der Gerichtsschreiber:
Borella Maillard