Sachverhalt:
A. A._ (geboren 1947) war von April 1981 bis 31. Dezember 2001 als Bauarbeiter bei der Firma X._ AG, Bauunternehmung, in Y._ tätig. Am 21. Januar 2002 meldete er sich bei der Invalidenversicherung zum Leistungsbezug an. Mit Verfügung vom 21. Oktober 2002 verneinte die IV-Stelle des Kantons St. Gallen nach Ermittlung eines Invaliditätsgrades von 8.91 % den Anspruch auf eine Invalidenrente. Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 29. April 2003 teilweise gut, hob die angefochtene Verfügung auf und wies die Sache zur Abklärung der Arbeitsfähigkeit in einer leidensadaptierten Tätigkeit und zur Neuverfügung an die IV-Stelle zurück. Nach Einholen eines orthopädischen Gutachtens vom 5. November 2003 sprach die IV-Stelle mit Verfügung vom 4. Juni 2004 dem Versicherten bei einem Invaliditätsgrad von 41 % ab 1. Dezember 2001 unter Annahme eines Härtefalles eine halbe Invalidenrente zu. Nachdem der Versicherte hiegegen Einsprache erhoben hatte, widerrief die IV-Stelle die Rentenverfügung und veranlasste eine weitere medizinische und eine psychiatrische Abklärung des Versicherten. Gestützt auf die neuen Gutachten vom 12. und 31. Oktober 2005 hielt sie mit Verfügung vom 6. Dezember 2005 bei einem Invaliditätsgrad von 42 % an der bisherigen Invalidenrente fest und wies das Gesuch um deren Erhöhung ab. Dies bestätigte sie mit Einspracheentscheid vom 11. Mai 2006, wobei sie bei der Invaliditätsbemessung einen Abzug von 10 % vornahm.
B. Die hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 24. Mai 2007 teilweise gut und sprach dem Versicherten ab 1. Dezember 2001 eine halbe Invalidenrente zu. Im Unterschied zur IV-Stelle erhöhte es den Leidensabzug auf 25 %, was zu einem Invaliditätsgrad von gerundet 51 % führte.
C. Die IV-Stelle des Kantons St. Gallen führt Beschwerde in öffentlich-rechtlichen Angelegenheiten mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides seien ihre Verfügung vom 6. Dezember 2005 und ihr Einspracheentscheid vom 11. Mai 2006 zu bestätigen.
A._ lässt die Abweisung der Beschwerde und die Gewährung der unentgeltlichen Rechtspflege beantragen. Das Bundesamt für Sozialversicherungen schliesst auf Gutheissung der Beschwerde.

Erwägungen:
1. 1.1 Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (<ref-ruling> E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
1.2 Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>) und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Eine unvollständige Sachverhaltsfeststellung stellt eine vom Bundesgericht ebenfalls zu korrigierende Rechtsverletzung im Sinne von <ref-law> dar (Seiler/von Werdt/Güngerich, Kommentar zum Bundesgerichtsgesetz, Bern 2007 N 24 zu Art. 97).
1.3 Die Festlegung der Höhe des Abzugs vom Tabellenlohn beschlägt eine typische Ermessensfrage und ist im Lichte der Kognitionsbefugnis (Art. 95 und <ref-law>) letztinstanzlicher Korrektur nur dort zugänglich, wo das kantonale Gericht das Rechtsermessen rechtsfehlerhaft ausgeübt hat, also Ermessensüberschreitung, -missbrauch oder -unterschreitung (<ref-ruling> E. 2.2 und 3.3 S. 396 und 399). Ermessensmissbrauch im Besonderen ist gegeben, wenn die Behörde zwar im Rahmen des ihr eingeräumten Ermessens bleibt, sich aber von unsachlichen, dem Zweck der massgebenden Vorschriften fremden Erwägungen leiten lässt oder allgemeine Rechtsprinzipien, wie das Verbot von Willkür und von rechtsungleicher Behandlung, das Gebot von Treu und Glauben sowie den Grundsatz der Verhältnismässigkeit verletzt (<ref-ruling> E. 1.2 S. 615 und 123 V 150 E. 2 S. 152, je mit Hinweisen).
2. 2.1 Streitig ist die Höhe des Invaliditätsgrades ab 1. Dezember 2001. Der Beschwerdegegner erzielte 2000 einen Jahresverdienst von Fr. 53'365.-. Weil dieser Lohn tiefer als der Tabellenlohn gemäss der Schweizerischen Lohnstrukturerhebung 2000 des Bundesamtes für Statistik (LSE; vgl. <ref-ruling> E. 4.2.1 S. 475 ff.) und damit "leicht unterdurchschnittlich" war, stellte die IV-Stelle für das Valideneinkommen auf die Durchschnittslöhne der LSE ab und setzte es für eine 41.8 Stundenwoche auf Fr. 55'640.- fest. Dieses Vorgehen erachtete das kantonale Gericht als richtig, da damit die nicht invaliditätsbedingte Differenz zwischen Tabellenlohn und tatsächlich verdientem Lohn ausgeglichen werde. Für das Invalideneinkommen stellte die IV-Stelle - ausgehend von einer Leistungsfähigkeit von 65 % - ebenfalls auf den Tabellenlohn ab und billigte dem Versicherten davon einen Abzug von 10 % zu. Das kantonale Gericht korrigierte diesen Abzug auf die höchst zulässige Höhe von 25 % (<ref-ruling>).
2.2 Die Beschwerde führende IV-Stelle beanstandet das Vorgehen des kantonalen Gerichts mit dem Argument, wenn auf der Validenseite nicht auf den effektiv erzielten Lohn abgestellt werde und damit bestimmte Faktoren (Nachteile kultureller und bildungsmässiger Natur, fortgeschrittenes Alter) bereits kompensiert worden seien, so dürften sie nicht zusätzlich zu einem weiteren Abzug vom Invalideneinkommen führen. Sie macht damit eine Bundesrechtsverletzung bei der Ermittlung der beiden Vergleichseinkommen geltend.
2.3 Das Valideneinkommen ist grundsätzlich anhand des zuletzt verdienten Lohnes zu bestimmen (RKUV 1993 Nr. U 168 S. 100 f. E. 3b; Ulrich Meyer-Blaser, Bundesgesetz über die Invalidenversicherung, Zürich 1997 S. 205). Da der tatsächlich erzielte Verdienst von Fr. 53'365.- nicht deutlich unter dem Tabellenlohn von Fr. 55'640.- liegt, besteht nach der Rechtsprechung kein Anlass, vom Grundsatz abzuweichen und zu einer Korrektur zu schreiten (Urteile des Eidgenössischen Versicherungsgerichts, R. vom 30. September 2002, I 186/01, H. vom 7. Mai 2001, I 314/00, und K. vom 16. März 1998, I 179/97). Indem Beschwerdeführerin und kantonales Gericht nicht auf den tatsächlich verdienten Lohn abgestellt haben, haben sie das Valideneinkommen in bundesrechtswidriger Weise ermittelt. Für den Einkommensvergleich ist daher von einem Einkommen ohne Invalidität von Fr. 53'365.- auszugehen.
2.4 Ausgehend vom einem sowohl für das Validen- wie auch für das Invalideneinkommen herangezogenen identischen Tabellenlohn, d.h. von Fr. 55'640.-, hat das kantonale Gericht angesichts der verbindlich und nicht offensichtlich unrichtig festgestellten Restarbeitsfähigkeit von 65 % sowie unter Gewährung eines auf 25 % erhöhten Abzugs vom Tabellenlohn einen Invaliditätsgrad von gerundet 51 % (35 % + [65 % x 25 %] = 51.25 %) ermittelt. Das Invalideneinkommen beläuft sich damit nach der Berechnung des kantonalen Gerichts auf Fr. 27'124.- (55'640 x 65 % x 75 %). Wird jedoch beim Valideneinkommen richtigerweise (E. 2.3) auf das effektive Einkommen von Fr. 53'365.- abgestellt, so resultiert ein Invaliditätsgrad von 49 % (zur Rundungsregel vgl. <ref-ruling>). Selbst wenn der Abzug vom Tabellenlohn auf das höchst zulässige Mass von 25 % erhöht wird, ergibt sich demnach ein unter 50 % liegender Invaliditätsgrad. Es braucht daher nicht geprüft zu werden, ob das kantonale Gericht mit der Erhöhung des Abzugs vom Tabellenlohn von 10 % auf 25 % ermessensmissbräuchlich gehandelt hat oder nicht (vgl. E. 1.3).
2.5 Sowohl die Rentenverfügung vom 6. Dezember 2005 wie auch der Einspracheentscheid vom 11. Mai 2006, mit welchen die IV-Stelle über die Höhe des Rentenanspruchs ab 1. Dezember 2001 befunden hat, enthalten in dispositiv- und begründungsmässiger Hinsicht keinerlei Ausführungen über die Frage der Härtefallrente und insbesondere zur Frage, ob für die Zeit ab 1. Januar 2004 die Voraussetzungen für die Weiterausrichtung der Härtefallrente im Sinne von lit. d Abs. 2 der Schlussbestimmungen zur Änderung des IVG vom 21. März 2003 (4. IVG-Revision, gültig seit dem 1. Januar 2004) erfüllt sind. Es kann auf die zutreffenden Ausführungen des kantonalen Gerichts verwiesen werden. Es wird daher zunächst Sache der Beschwerdeführerin sein, die entsprechenden Abklärungen zu treffen und über die Frage des Anspruchs auf eine Härtefallrente zu verfügen.
3. Der Beschwerdegegner hat als unterliegende Partei die Gerichtskosten zu tragen (<ref-law>). Diese sind indessen, weil der Beschwerdegegner die Voraussetzungen für die Bewilligung der unentgeltlichen Rechtspflege (im Sinne unentgeltlicher Prozessführung und Verbeiständung) erfüllt (Art. 64 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 4a S. 202 und 371 E. 5b S. 372, je mit Hinweisen), einstweilen auf die Gerichtskasse zu nehmen. Es wird jedoch ausdrücklich auf <ref-law> aufmerksam gemacht, wonach die begünstigte Partei der Gerichtskasse Ersatz zu leisten haben wird, wenn sie später dazu in der Lage ist.

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde wird der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 24. Mai 2007 aufgehoben.
2. Die Akten werden an die Beschwerdeführerin überwiesen, damit diese im Sinne von E. 2.5 verfahre.
3. Dem Beschwerdegegner wird die unentgeltliche Rechtspflege gewährt.
4. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdegegner auferlegt, indes vorläufig auf die Gerichtskasse genommen.
5. Rechtsanwalt Roger Lippuner, Buchs, wird als unentgeltlicher Rechtsbeistand des Beschwerdegegners bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Gerichtskasse eine Entschädigung von Fr. 1'500.- (einschliesslich Mehrwertsteuer) ausgerichtet.
6. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Schweizerischen Baumeisterverbandes, Zürich, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 11. April 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer