Sachverhalt:
A. Nachdem ein erstes Leistungsbegehren mit Verfügung vom 28. August 2003 abgewiesen worden war, meldete sich der 1950 geborene, seit 1972 in der Schweiz im Baugewerbe und in der holzverarbeitenden Industrie tätig gewesene J._ unter Hinweis auf Rückenschmerzen im Juni 2004 erneut bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärungen in medizinischer und erwerblicher Hinsicht, insbesondere einem Gutachten der ärztlichen Begutachtungsstelle X._ vom 24. Januar 2006, wies die IV-Stelle des Kantons St. Gallen mit Verfügung vom 13. April 2006 den Rentenanspruch gestützt auf einen Invaliditätsgrad von 0 % ab und hielt mit Einspracheentscheid vom 17. Januar 2007 daran fest.
B. Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 3. September 2008 ab.
C. J._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheides sei ihm ab Mai 2005 mindestens eine halbe IV-Rente zuzusprechen. Eventualiter sei die Sache im Sinne der Erwägungen an die Vorinstanz zurückzuweisen.
Während die IV-Stelle auf Abweisung der Beschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen (BSV) auf eine Vernehmlassung.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht (Art. 105 Abs. 2 BGG; vgl. auch Art. 97 Abs. 1 BGG; ohne Beschwerden gemäss Art. 97 Abs. 2 BGG und Art. 105 Abs. 3 BGG). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde an das Bundesgericht (Art. 107 Abs. 1 BGG) nur zu prüfen, ob der angefochtene Gerichtsentscheid in Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (unter anderem) Bundesrecht verletzt (Art. 95 lit. a BGG), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, Art. 105 Abs. 2 BGG). Hiezu gehört insbesondere auch die unvollständige (gerichtliche) Feststellung der rechtserheblichen Tatsachen und die Verletzung des Untersuchungsgrundsatzes als einer wesentlichen Verfahrensvorschrift (Urteile 9C_534/2007 vom 27. Mai 2008, E. 1 mit Hinweis auf Ulrich Meyer, N 58-61 zu Art. 105, in: Niggli/Uebersax/Wiprächtiger [Hrsg.], Basler Kommentar Bundesgerichtsgesetz, Basel 2008; Seiler/von Werdt/ Güngerich, Kommentar zum Bundesgerichtsgesetz, Bern 2007, N. 24 zu Art. 97).
2. Das kantonale Gericht hat die Bestimmungen und Grundsätze über die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 IVG in der bis 31. Dezember 2007 gültig gewesenen Fassung; vgl. jetzt Art. 28 Abs. 2 IVG) sowie die Invaliditätsbemessung nach der allgemeinen Methode des Einkommensvergleichs (Art. 16 ATSG, ab 1. Januar 2004 bis Ende 2007 in Verbindung mit Art. 28 Abs. 2 IVG; BGE 130 V 343 E. 3.4 S. 348 f., 128 V 29 E. 1 S. 30 f.) zutreffend dargelegt. Richtig sind auch die Ausführungen zum Beweiswert ärztlicher Berichte und Gutachten und zur Beweiswürdigung (BGE 125 V 351 E. 3 S. 352 ff.; 122 V 157 E. 1c S. 160 ff., je mit Hinweisen; vgl. auch BGE 132 V 393 E. 4.1 S. 400). Darauf wird verwiesen.
3. 3.1 Streitig und zu prüfen ist der Rentenanspruch. Dabei steht insbesondere in Frage, ob zur Beurteilung der Arbeitsfähigkeit auf das Gutachten der ärztlichen Begutachtungsstelle X._ vom 24. Januar 2006 abzustellen ist. Während das kantonale Gericht diese Expertise im Lichte der bundesgerichtlichen Beweisgrundsätze (BGE 125 V 352 E. 3a) als massgebliche Entscheidgrundlage einstuft und entsprechend von einer Arbeitsfähigkeit in einer körperlich schweren Tätigkeiten von 0 %, jedoch in einer leidensangepassten Beschäftigung (körperlich leicht bis mittelschwer in wechselnder Position) von 100 % ausgeht, rügt der Beschwerdeführer eine Verletzung des Untersuchungsgrundsatzes und des rechtlichen Gehörs. Zum einen sei das Gutachten nicht umfassend. Es beruhe auf veralteten Röntgenberichten. Neue bildgebende Untersuchungen seien nicht durchgeführt worden und nicht einmal die veralteten Bilder hätten den Gutachtern vorgelegen. Zudem habe das kantonale Gericht den am 21. Juni 2007 ins Recht gelegten Radiologiebericht des Spitals G._ vom 16. April 2007 weder gewürdigt noch erwähnt, aus welchem sich ein grosser Unterschied zu den Befunden vom 11. März 2002 ergebe, was schon im Zeitpunkt der Begutachtung durch die ärztlichen Begutachtungsstelle X._ hätte erkannt werden müssen.
3.2 Die vorinstanzlichen Feststellungen zur Arbeitsfähigkeit betreffen grundsätzlich eine Tatfrage, welche bloss unter dem eingeschränkten Blickwinkel von Art. 97 Abs. 1 BGG zu prüfen ist (BGE 132 V 393 E. 3.2 S. 397 ff.). Dagegen beschlägt die Beachtung des Untersuchungsgrundsatzes und der Beweiswürdigungsregeln eine Rechtsfrage (Art. 61 lit. c ATSG; BGE 132 V 393 E. 3.2 und 4 S. 397 ff.; Urteil 8C_74/2008 vom 22. August 2008, E. 2.3).
3.3 Das Gutachten der ärztlichen Begutachtungsstelle X._ vom 24. Januar 2006 stützte sich auf den radiologischen Bericht der MR-Tomographie der Halswirbelsäule (HWS) des Spitals Y._ vom 4. Februar 2004, wobei erwähnt wurde, leider lägen die Bilder zum Zeitpunkt der Untersuchung nicht vor. Gemäss diesem Bericht ergebe sich folgender Befund: Geringgradige mehrsegmentale zervikale Diskopathie im Sinne von Chondrose ohne Nachweis einer Diskushernie. Regelrecht weiter Spinalkanal ohne Spinalkanalstenose. Regelrechtes Signalverhalten im zervikalen und mitabgebildeten thorakalen Myelon ohne Nachweis einer Myelopathie. Die Vorinstanz erwog dazu, ein Verzicht auf die Erstellung weiterer Röntgenbilder sei nicht zu beanstanden, da offenbar keine klinischen Hinweise auf eine relevante bildgebend darstellbare Pathologie vorlagen und die bereits vorhandenen Röntgenbilder bzw. die Berichte dazu offenbar eine zuverlässige Beurteilung der Arbeitsfähigkeit ermöglichten.
Im vom Beschwerdeführer im vorinstanzlichen Verfahren ins Recht gelegten Radiologiebericht des Spitals G._ vom 16. April 2007 wurde als zusammenfassende Beurteilung aufgeführt: "L4/5: Links mediolateral nach intraforaminär reichender Diskusprolaps mit Verdacht auf Kompression der L5-Wurzel links. Rechtsseitig liegt eine in das Foramen reichende Protrusion vor. In diesem Segment auch hypertrophe Spondylarthrose sowie Hypertrophie der Ligamenta flava. Durch die genannten Veränderungen kommt es zu einer höhergradigen Spinalkanalstenose in diesem Segment. L3/4: Spondylarthrose und Hypertrophie der Ligamenta flava mit geringer Einengung des Recessus lateralis beidseits. L5/S1: Konzentrische Diskusprotrusion sowie geringe Spondylarthrose beidseits. Erheblich eingeschränkte Bildqualität durch zum Teil ausgeprägte Bewegungsartefakte. Falls von therapeutischer Konsequenz gegebenenfalls ergänzende Computertomographie der LWS empfohlen, da die Computertomographie weniger empfindlich für Bewegungsartefakte ist."
3.4 Diesen Radiologiebericht hat die Vorinstanz weder gewürdigt noch überhaupt erwähnt. Dazu wäre sie aber im Rahmen des Untersuchungsgrundsatzes gerade deshalb verpflichtet gewesen, weil sich zum einen aus diesem Bericht objektivierbare Befunde betreffend die Rückenbeschwerden ergeben, welche auf eine Verschlechterung des Gesundheitszustandes hinweisen, und zum anderen der Beschwerdeführer bereits vor Vorinstanz geltend gemacht hatte, zur umfassenden Abklärung des Gesundheitszustandes genügten die von der ärztlichen Begutachtungsstelle X._ berücksichtigten veralteten Röntgenbilder nicht und es seien neue bildgebende Untersuchungen durchzuführen. Dass der Bericht nach Erlass des Einspracheentscheides vom 17. Januar 2007 datiert, ändert daran nichts, ist doch nicht davon auszugehen, dass sich die dort erhobenen Befunde erst in den knapp drei Monaten vor der Befunderhebung gebildet haben. Unter diesen Umständen vermag das Gutachten der ärztlichen Begutachtungsstelle X._ kein umfassendes Bild über den Gesundheitszustand des Versicherten zu geben, zumal die zeitliche Distanz zu den dort berücksichtigten (nicht einmal im Original, sondern nur im Rahmen eines Befundberichts vorliegenden) Röntgenbildern vom 4. Februar 2004 rund zwei Jahre beträgt (vgl. Urteil 9C_561/2007 vom 11. März 2008, E. 5.2.2 mit Hinweisen) und seit der Begutachtung bis zum Erlass des Einspracheentscheides ein weiteres Jahr verstrichen ist. Indem die Vorinstanz unter diesen Umständen abschliessend auf das Gutachten der ärztlichen Begutachtungsstelle X._ abgestellt hat, ohne weitere Abklärungen durchzuführen oder zu veranlassen, hat sie den Sachverhalt unvollständig festgestellt und den Untersuchungsgrundsatz verletzt (Art. 69 Abs. 2 IVV, Art. 43 Abs. 1 und Art. 61 lit. c ATSG; BGE 130 V 6 E. 5.2.5 S. 68 f.), was vom Bundesgericht als Rechtsverletzung zu berücksichtigen ist. Die Sache ist daher an die IV-Stelle zurückzuweisen, damit sie den Gesundheitszustand des Versicherten erneut abkläre und anschliessend über den Rentenanspruch neu entscheide.
4. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdegegnerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG) und dem Beschwerdeführer eine Parteientschädigung zu bezahlen (Art. 68 Abs. 2 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Versicherungsgerichts des Kantons St. Gallen vom 3. September 2008 und der Einspracheentscheid der IV-Stelle des Kantons St. Gallen vom 17. Januar 2007 werden aufgehoben. Die Sache wird an die IV-Stelle des Kantons St. Gallen zurückgewiesen, damit sie, nach erfolgter Abklärung im Sinne der Erwägungen, über den Anspruch auf eine Invalidenrente neu verfüge.
2. Die Gerichtskosten von Fr. 500.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Kosten und der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons St. Gallen zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Schreiner-, Möbel- und Holzgewerbes, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 14. August 2009
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
Meyer Helfenstein Franke