Sachverhalt:
A. Der 1952 geborene M._ meldete sich nach einem Verkehrsunfall vom 12. September 2002 am 4. September 2003 erstmals bei der Invalidenversicherung zum Leistungsbezug an. Nach einem Gutachten des Institut X._, vom 15. April 2005, das eine Arbeitsfähigkeit von 100 % attestierte, verfügte die IV-Stelle des Kantons St. Gallen am 30. Juni 2005 die Abweisung des Rentenanspruchs. Dies bestätigte sie mit Einspracheentscheid vom 27. Dezember 2005, welcher in Rechtskraft erwuchs.
Auf ein erneutes Leistungsgesuch vom 11. Juli 2006, mit welchem M._ eine Verschlechterung seines Gesundheitszustandes geltend machte, trat die IV-Stelle mit Verfügung vom 4. Dezember 2007 nicht ein. Mit Entscheid vom 27. Februar 2009 hiess das Versicherungsgericht des Kantons St. Gallen eine dagegen erhobene Beschwerde gut und wies die Sache zur Behandlung des Gesuchs an die IV-Stelle zurück. Nach weiteren Abklärungen in medizinischer Hinsicht, insbesondere einer internistisch-orthopädisch-psychiatrischen Verlaufsbegutachtung durch das Institut X._ vom 23. Dezember 2009 sowie einer ergänzenden Bestätigung vom 21. Januar 2010 und nach Durchführung des Vorbescheidverfahrens verfügte die IV-Stelle am 23. März 2010 erneut die Abweisung des Rentengesuchs.
B. Die hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 25. Juni 2012 ab.
C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt M._ beantragen, es sei ihm eine Invalidenrente basierend auf einem Invaliditätsgrad von 100 % zuzusprechen. Eventualiter sei die IV-Stelle zu verpflichten, ein unabhängiges psychiatrisches Gutachten in Auftrag zu geben.
Erwägungen:
1. Mit der Beschwerde in öffentlich-rechtlichen Angelegenheiten (Art. 82 ff. BGG) kann u.a. die Verletzung von Bundesrecht gerügt werden (Art. 95 lit. a BGG). Die Feststellung des Sachverhalts kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat. Es kann die Sachverhaltsfeststellung der Vorinstanz von Amtes wegen berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Artikel 95 beruht (Art. 105 Abs. 1 und 2 BGG).
2. Streitig und zu prüfen ist der Anspruch auf eine Invalidenrente.
2.1 Die Vorinstanz hat die gesetzlichen Bestimmungen und von der Rechtsprechung dazu entwickelten Grundsätze zum Begriff der Erwerbsunfähigkeit (Art. 7 ATSG) und der Invalidität (Art. 8 Abs. 1 ATSG in Verbindung mit Art. 4 Abs. 1 IVG), zu den Voraussetzungen und zum Umfang des Rentenanspruchs (Art. 28 Abs. 2 IVG) sowie zum Beweiswert (BGE 134 V 231 E. 5.1 S. 232) und zur Würdigung ärztlicher Berichte und Gutachten (BGE 125 V 351 E. 3a S. 352) zutreffend dargelegt. Darauf wird verwiesen.
2.2 In pflichtgemässer Würdigung der medizinischen Akten hat die Vorinstanz dem Gutachten des Institut X._ vom 23. Dezember 2009 Beweiswert zuerkannt und gestützt darauf in tatsächlicher Hinsicht für das Bundesgericht grundsätzlich verbindlich festgestellt, dass sich der psychiatrische Gesundheitszustand des Versicherten seit der letzten Untersuchung zwar leichtgradig verschlechtert hat, aus polydisziplinärer Sicht jedoch nach wie vor für leidensangepasste Tätigkeiten keine Einschränkung der Arbeitsfähigkeit besteht, weshalb der Rentenanspruch abzuweisen sei.
Der Beschwerdeführer bringt nichts vor, was zur Bejahung einer Rechtsverletzung führen oder die vorinstanzlichen Sachverhaltsfeststellungen als offensichtlich unrichtig oder als Ergebnis willkürlicher Beweiswürdigung oder als rechtsfehlerhaft nach Art. 95 BGG erscheinen liesse (vgl. E. 1 hievor). Seine Ausführungen erschöpfen sich letztlich weitestgehend in appellatorischer und damit unzulässiger Kritik am vorinstanzlichen Entscheid (Urteil 9C_569/2008 vom 1. Oktober 2008 E. 1.2 mit Hinweisen). Dies gilt insbesondere für die Ausführungen zur vom Gutachten des Institut X._ abweichenden Arbeitsfähigkeitseinschätzung des Dr. med. E._. Das kantonale Gericht hat nachvollziehbar dargelegt, weshalb dessen Berichte das Gutachten des Institut X._ nicht in Zweifel zu ziehen vermögen. Zudem verkennt der Beschwerdeführer mit seinem Hinweis auf die längere Behandlungsdauer bei Dr. med. E._ die im Rahmen der Beweiswürdigung relevante Verschiedenheit von Behandlungsauftrag einerseits und Begutachtungsauftrag andererseits (vgl. BGE 124 I 170 E. 4 S. 175; Urteil 9C_768/2011 vom 8. Februar 2012 E. 2.3).
Soweit der Beschwerdeführer überdies die vorinstanzlichen Feststellung zur willentlichen Überwindbarkeit bemängelt, sind auch diese Rügen, soweit sie über eine appellatorische Kritik hinausgehen, nicht stichhaltig: Zum einen schliesst entgegen der offenbaren Auffassung des Versicherten ein Alter von 58 Jahren nicht per se aus, dass die nötige Willensanstrengung noch aufgebracht werden kann. Zum andern trifft es zwar zu, dass die Vorinstanz von einer 20- anstatt wie vom Beschwerdeführer nun geltend gemachten 30-jährigen Tätigkeit auf dem Bau ausgegangen ist, wobei sie offenbar nur die Tätigkeit in der Schweiz und nicht auch diejenige in Österreich und im Kosovo berücksichtigt hat; es ist jedoch nicht nachvollziehbar (und wird denn auch nicht dargetan), inwieweit dies in Bezug auf die zumutbare Willensanstrengung einen massgeblichen Unterschied machen sollte.
3. Die im Sinne von Art. 109 Abs. 2 lit. a BGG offensichtlich unbegründete Beschwerde ist im vereinfachten Verfahren abzuweisen.
4. Dem Ausgang des Verfahrens entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 31. Oktober 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Die Gerichtsschreiberin: Helfenstein