Sachverhalt: A. A.a Mit Verfügung vom 24. Oktober 2002 sprach die IV-Stelle des Kantons St. Gallen A._, geboren 1953, aufgrund eines Invaliditätsgrades von 63 % ab Dezember 2001 eine halbe Rente der Invalidenversicherung zu. Am 3. Januar 2003 ersuchte A._ um Erhöhung der Rente, da sich sein Gesundheitszustand verschlechtert habe. Nachdem ein vom Ärztlichen Begutachtungsinstitut GmbH (ABI) am 12. September erstattetes Gutachten eine Leistungseinschränkung von höchstens 10 % ergeben hatte, stellte die IV-Stelle die Ausrichtung der Rente mit Verfügung vom 26. Juli 2004 revisionsweise auf Ende August 2004 ein, woran sie mit Einspracheentscheid vom 15. Dezember 2004 festhielt. Das Versicherungsgericht des Kantons St. Gallen hiess die hiegegen eingereichte Beschwerde mit Entscheid vom 15. September 2005 gut und hob den Einspracheentscheid vom 15. Dezember 2004 auf. Das Gericht erachtete die Voraussetzungen, unter denen auf die rentenzusprechende Verfügung vom 24. Oktober 2002 zurückgekommen werden dürfe, als nicht gegeben. In den Erwägungen hielt es u.a. fest, da die Rente auf einem IV-Grad von 63 % ausgerichtet werde, werde sich die IV-Stelle mit der Frage zu beschäftigen haben, ob nach der 4. IV-Revision eine Dreiviertelsrente nachzuzahlen sei. Dieser Entscheid ist in Rechtskraft erwachsen. A.b Am 21. Februar 2006 ersuchte A._ um Ausrichtung einer Dreiviertelsrente ab 1. Januar 2004. Mit Verfügung vom 17. August 2006 teilte ihm die IV-Stelle mit, dass er bei einem Invaliditätsgrad von nunmehr 58 % ab 1. September 2004 Anspruch auf eine halbe Rente habe. Auf das Erhöhungsbegehren trat die IV-Stelle mit Verfügung vom 4. September 2006 nicht ein. B. Das Versicherungsgericht des Kantons St. Gallen hiess die gegen die beiden Verfügungen erhobene Beschwerde mit Entscheid vom 6. März 2008 gut, hob die Verfügungen vom 17. August und 4. September 2006 auf und sprach A._ ab 1. Januar 2004 eine Dreiviertelsrente zu. C. Die IV-Stelle führt Beschwerde mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben und ihre Verfügung vom 17. August 2006 sei zu bestätigen. Es sei festzustellen, dass A._ Anspruch auf eine halbe Rente habe. Eventuell sei die IV-Rente ganz einzustellen. A._ lässt auf Abweisung der Beschwerde schliessen, während das Bundesamt für Sozialversicherungen - unter Hinweis auf die Ausführungen der IV-Stelle - deren Gutheissung beantragt.