Sachverhalt:
A. Nachdem sein erstes Leistungsbegehren betreffend berufliche Massnahmen mit Verfügung vom 5. Januar 2005 abgewiesen worden war, meldete sich der 1967 geborene, gelernte Maler T._ am 28. März 2007 erneut zum Leistungsbezug bei der Invalidenversicherung an; dabei beanspruchte er Berufsberatung, Umschulung auf eine neue Tätigkeit sowie Arbeitsvermittlung. Nach verschiedenen Abklärungen in medizinischer und erwerblicher Hinsicht (unter anderem in der Beratungsstelle X._ [Bericht vom 30. Oktober 2007], in der BEFAS [Schlussbericht vom 10. Juli 2008] sowie in der Klinik Y._ [Gutachten vom 3. Dezember 2009 einschliesslich einer Evaluation der funktionellen Leistungsfähigkeit, EFL, vom 14. Juli 2009] und verschiedener Stellungnahmen des Regionalen Ärztlichen Dienstes, RAD) lehnte die IV-Stelle des Kantons St. Gallen nach Durchführung des Vorbescheidverfahrens mit Verfügung vom 25. Februar 2010 einen Anspruch auf eine Invalidenrente gestützt auf einen Invaliditätsgrad von 30 % ab.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons St. Gallen mit Entscheid vom 24. August 2011 ab.
C. T._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten erheben und beantragen, es sei ihm ab dem 23. März 2005 eine ganze Rente auszurichten, eventualiter sei "die Sache gemäss den Erwägungen mit weiteren geeigneten Abklärungen zu überprüfen". Zudem legt er Berichte des Dr. med. B._, Facharzt FMH für Neurochirurgie, vom 22. September 2011 sowie der Dres. med. M._ und von K._, vom 2. November 2011 ins Recht.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann wegen Rechtsverletzungen gemäss Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil von hier nicht interessierenden Ausnahmen abgesehen den Sachverhalt zu Grunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen oder auf Rüge hin berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG und Art. 105 Abs. 1 und 2 BGG).
2. Das kantonale Gericht hat die für den streitigen Anspruch massgebenden gesetzlichen Bestimmungen und von der Rechtsprechung dazu entwickelten Grundsätze zutreffend dargelegt. Darauf wird verwiesen.
3. Streitig und zu prüfen ist der Rentenanspruch des Beschwerdeführers. Was dieser zur seiner Ansicht nach abgeschlossenen Wiedereingliederung vorbringt, ist nicht stichhaltig. Dass er noch 2007 an Abklärungsmassnahmen teilnahm, ändert nichts daran, dass er sich im Zeitpunkt der EFL überzeugt zeigte, überhaupt nicht mehr arbeiten zu können. Wenn die IV-Stelle deshalb die Rentenfrage vorab prüfte, ist dies, wie die Vorinstanz zutreffend dargelegt hat, nicht zu beanstanden.
3.1 Nach einlässlicher Würdigung der medizinischen Aktenlage kam die Vorinstanz zum Schluss, die Berichte des Dr. med. W._, Zentrum R._, vom 2. April, 24. September sowie 17. November 2008 seien zur Beurteilung der Arbeitsfähigkeit ebenso wenig beachtlich wie die Einschätzungen des Hausarztes Dr. med. I._. Hingegen sei zur Beurteilung der Arbeitsfähigkeit auf das schlüssige Gutachten der Klinik Y._ vom 3. Dezember 2009 abzustellen, welchem volle Beweiskraft zukomme. Danach sei die (qualitative) Einschränkung der Arbeitsfähigkeit nur auf Beeinträchtigungen der körperlichen Gesundheit zurückzuführen. Es handle sich gemäss Diagnoseliste im Gutachten um drei Bereiche: das chronische lumbospondylogene Syndrom beidseits, die beginnende Coxarthrose rechts und die chronische Periarthropathia humero-scapularis rechts. Die Beeinträchtigung der Wirbelsäule beschränke den Beschwerdeführer durch die Unfähigkeit, statisch-monotone Haltungen einzunehmen und durch die Beschränkung beim Heben von Lasten. Die verminderte Belastbarkeit der rechten Hüfte habe Einschränkungen beim Heben und insbesondere beim Treppen- und Leiternsteigen zur Folge und die Beeinträchtigung der rechten Schulter verunmögliche das Heben von Lasten über Taillenhöhe und Verrichtungen über Schulterhöhe. Zusammenfassend sei es dem Beschwerdeführer zumutbar, in einer solch adaptierten Hilfsarbeit eine uneingeschränkte Arbeitsleistung zu erbringen.
3.2 Der Beschwerdeführer bestreitet im Wesentlichen den Beweiswert des Gutachtens der Klinik Y._. Soweit er erneut auf die in ihrer Einschätzung der Arbeitsfähigkeit davon abweichenden Berichte der Dres. med. W._ und I._ verweist, die medizinischen Unterlagen abweichend würdigt und daraus andere Schlüsse als die vorinstanzlichen zieht, ohne genauer aufzuzeigen, inwiefern das kantonale Gericht den rechtserheblichen medizinischen Sachverhalt offensichtlich unrichtig oder in Verletzung von Bundesrecht festgestellt haben soll, handelt es sich um appellatorische Kritik, die im Rahmen der gesetzlichen Überprüfungsbefugnis des Bundesgerichts (E. 1) unzulässig ist (statt vieler: Urteil 8C_105/2011 vom 11. März 2011 mit Hinweisen).
Die weiteren Einwendungen in der Beschwerde hat das kantonale Gericht bereits zutreffend entkräftet:
So legte die Vorinstanz entgegen der Auffassung des Beschwerdeführers gerade sehr ausführlich und nachvollziehbar dar, weshalb sich die Einschätzungen des Dr. med. W._ an der Selbsteinschätzung des Versicherten orientieren und deshalb nicht beachtlich sind. Sie erwog auch eingehend, dass die Klinik Y._ keine falschen Schlüsse aus der EFL gezogen hat. Daran ändert entgegen der Ansicht des Beschwerdeführers nichts, dass dieser am zweiten Tag der Testung weniger leistungsfähig war. Denn in der EFL wurde festgestellt, die Selbsteinschätzung am ersten Tag falle deutlich höher aus als dieselbe am zweiten Testtag. Die körperliche Verfassung des Versicherten sei auch am zweiten Tag deutlich schlechter als am ersten Tag gewesen. Dennoch entspreche die erste Einschätzung eher der Realität als die zweite; die tatsächliche körperliche Leistungsfähigkeit liege im leichten bis mittelschweren Bereich; die Einschätzung des zweiten Tages liege deutlich zu tief. Damit trifft die vom Beschwerdeführer geäusserte Vermutung, man habe für die Beurteilung offenbar nur die Tests des ersten Tages berücksichtigt, nicht zu. Schliesslich besteht auch kein Widerspruch darin, dass einerseits Tätigkeiten über Kopf und andererseits eine Arbeitshöhe über dem Bauchnabel vermieden werden sollte, hielt die Vorinstanz doch zutreffend fest, die Beeinträchtigung der rechten Schulter verunmögliche das Heben von Lasten über Taillenhöhe und Verrichtungen über Schulterhöhe. Zusammenfassend sind die Vorbringen nicht geeignet, die tatsächlichen Feststellungen der Vorinstanz als offensichtlich unrichtig oder die daraus gezogenen Schlussfolgerungen als bundesrechtswidrig (E. 1) erscheinen zu lassen. Vorinstanz und Verwaltung haben einen Rentenanspruch des Versicherten zu Recht verneint. Daran ändern auch die neu ins Recht gelegten Berichte der Dres. med. B._, M._ und von K._ vom 2. November 2011 nichts. Abgesehen davon, dass diese nichts zur Arbeitsfähigkeit sagen und lediglich Diagnosen beschreiben, welche bereits früher bekannt waren, was auch für die Psoriasis-Arthritis gilt, können sie als unzulässiges Novum gemäss Art. 99 Abs. 1 BGG nicht berücksichtigt werden.
3.3 Bleibt es nach dem Gesagten bei der festgestellten vollen Arbeitsfähigkeit in einer leidensangepassten Tätigkeit, gibt auch der von der Vorinstanz auf Grund eines Einkommensvergleichs (Art. 16 ATSG) und unter Beizug der Durchschnittslöhne der vom Bundesamt für Statistik herausgegebenen Lohnstrukturerhebungen (LSE) im erwerblichen Bereich ermittelte Invaliditätsgrad von 29 % weder in tatsächlicher noch rechtlicher Hinsicht (Art. 105 Abs. 2 und Art. 95 BGG) zu Beanstandungen Anlass. Insbesondere kann auch bei Einschränkungen für Verrichtungen über Schulterhöhe entgegen der Auffassung des Beschwerdeführers von einer möglichen Tätigkeit in allen Branchen ausgegangen werden. Es wird diesbezüglich auf die in allen Teilen korrekten Ausführungen des angefochtenen Entscheids verwiesen. Entgegen dem Standpunkt des Beschwerdeführers ist der vorinstanzlich bestätigte, bei der Festsetzung des Invalideneinkommens gewährte leidensbedingte Abzug (siehe dazu BGE 134 V 322 E. 5.2 S. 327 f., 129 V 472 E. 4.2.1 S. 475 f.) von 5 % ebenfalls nicht zu beanstanden. Beachtliche Gründe, die den entsprechenden Abzug als ermessensmissbräuchlich oder sonst rechtsfehlerhaft erscheinen lassen (E. 1 hievor; vgl. auch BGE 132 V 393 E. 3.3 S. 399) und eine Korrektur nach oben rechtfertigen würden, werden vom Beschwerdeführer keine namhaft gemacht und sind auch nicht ersichtlich, zumal er noch vollzeitlich tätig sein kann; den anbegehrten Abzug in der Höhe von mindestens 20 % kann somit nicht entsprochen werden.
4. Dem Ausgang der Verfahren entsprechend sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 21. August 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein