Sachverhalt: A. A.a Der 1959 geborene B._ war ab April 1977 als Kundenmaurer für das Baugeschäft M._ AG tätig. Am 7./10. September 1992 meldete er sich unter Hinweis auf Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an und ersuchte namentlich um Berufsberatung. Die IV-Kommission des Kantons St. Gallen (heute: Sozialversicherungsanstalt des Kantons St. Gallen [SVA], IV-Stelle) führte Abklärungen in erwerblicher und medizinischer Hinsicht durch und liess den Versicherten in der Klinik X._ begutachten (Gutachten vom 22. Oktober 1993). Zusammenfassend wurden eine Spondylolyse L5 mit Spondylolisthesis L5/S1, eine leichte thoraco-lumbale S-Skoliose sowie eine beginnende Diskusdegeneration L4/L5 diagnostiziert und festgestellt, B._ sei in der bisherigen Tätigkeit als Maurer nicht mehr, bei angepasster Tätigkeit ohne dauernde starke Rückenbelastung jedoch 100 % arbeitsfähig. Am 3. Februar 1994 sprach die IV-Stelle dem Versicherten als berufliche Massnahme eine Umschulung zum Kranführer mit Einarbeitung in leichte Hilfsarbeiten zu, wobei B._ während der Massnahme einen Unfall erlitt. Nach einer erneuten Begutachtung in der Klinik X._ vom 9. Mai 1995, bei welcher sich ergab, dass eine Tätigkeit ohne dauernd starke Rückenbelastung zu 100 % möglich sei und der Versicherte als Kranführer zu mindestens 50 % arbeitsfähig sein sollte, sprach die IV-Stelle B._ mit Verfügung vom 3. November 1995 ab 1. September 1993 bei einem Invaliditätsgrad von 50 % eine halbe Rente zu. Mit Verfügung vom 5. August 1998 wurde dem Versicherten wegen vorübergehender Verschlechterung vom 1. Dezember 1997 bis 31. Mai 1998 eine ganze Rente zugesprochen. Nachdem B._ wiederum eine Verschlechterung seines Gesundheitszustandes geltend gemacht hatte, wurden weitere medizinische Abklärungen getroffen und die Meinung des RAD eingeholt. Mit Verfügung vom 12. Januar 2001 sprach die IV-Stelle dem Versicherten ab 1. Januar 1999 eine ganze Rente zu und sah auf 1. Januar 2001 eine Rentenrevision vor. Im Rahmen des am 2. Februar 2001 eingeleiteten Revisionsverfahrens fand eine Begutachtung durch das Institut Y._ statt (Gutachten vom 30. Januar 2002 und Ergänzungsbericht vom 23. Mai 2002). Gestützt darauf hielt die IV-Stelle im Feststellungsblatt vom 6. Juni 2002 fest, es liege kein Revisionsgrund vor, ohne jedoch das Revisionsverfahren förmlich abzuschliessen. A.b Im Rahmen eines im Juli 2005 erneut eingeleiteten Revisionsverfahrens setzte die IV-Stelle mit Verfügung vom 26. Mai 2006 den Rentenanspruch des Versicherten bei einem Invaliditätsgrad von neu 50 % mit Wirkung ab 1. Juli 2006 auf eine halbe Rente herab. Dagegen liess B._ Einsprache erheben. Mit Verfügung vom 23. Mai 2007 hob die IV-Stelle die Verfügung vom 12. Januar 2001 wiedererwägungsweise auf und setzte den Anspruch des Versicherten ab 1. Januar 1999 auf eine ganze Rente und ab 1. Mai 2000 auf eine halbe Rente bei einem Invaliditätsgrad von 50 % fest. Das Versicherungsgericht des Kantons St. Gallen hob die Wiedererwägungsverfügung vom 23. Mai 2007 mit Entscheid vom 7. Oktober 2008 auf. Der Versicherte liess daraufhin um Fortsetzung des Einspracheverfahrens gegen die Verfügung vom 26. Mai 2006 ersuchen. Mit Einspracheentscheid vom 22. September 2010 wies die IV-Stelle die Einsprache, soweit sie sich gegen die Verfügung vom 26. Mai 2006 richtete, ab und stellte fest, der Versicherte habe ab 1. Oktober 2009 Anspruch auf eine Dreiviertelsrente. Zur Begründung führte sie im Wesentlichen aus, die Verfügung vom 3. November 1995 sei unhaltbar falsch gewesen und daher wiedererwägungsweise aufzuheben. Die mit Verfügung vom 26. Mai 2006 zugesprochene halbe Rente sei im Ergebnis nicht zu beanstanden, weshalb sie mit der substituierenden Begründung der Wiedererwägung zu bestätigen sei. Zufolge der im Gutachten des Instituts Y._ vom 25. Mai 2010 dargelegten Verschlechterung bestehe ab Oktober 2009 Anspruch auf eine Dreiviertelsrente. A.c Die gegen den Einspracheentscheid vom 22. September 2010 erhobene Beschwerde, mit welcher B._ beantragen liess, es sei ihm auch über den 1. Juli 2006 hinaus eine ganze Invalidenrente auszurichten, wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 29. März 2011 mit substituierter Begründung der revisionsweisen Rentenherabsetzung ab. Mit Urteil vom 19. September 2011 hob das Bundesgericht den kantonalen Entscheid vom 29. März 2011 auf und wies die Sache zur Gewährung des rechtlichen Gehörs und anschliessender neuer materieller Beurteilung an das Versicherungsgericht des Kantons St. Gallen zurück. B. Das Versicherungsgericht des Kantons St. Gallen wies die Beschwerde mit Entscheid vom 20. März 2012 erneut ab, dies mit der Begründung, eine Herabsetzung der ganzen Invalidenrente sei nicht revisionsweise, indes mittels substituierter Begründung der Wiedererwägung der Verfügung vom 3. November 1995 möglich, weshalb die IV-Stelle zu Recht ab 1. Juli 2006 eine halbe Rente und ab 1. Oktober 2009 eine Dreiviertelsrente zugesprochen habe. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten lässt B._ beantragen, in Aufhebung des Entscheids des Versicherungsgerichts des Kantons St. Gallen vom 20. März 2012, des Einspracheentscheids vom 22. September 2010 und der Verfügung vom 26. Mai 2006 sei ihm auch über den 1. Juli 2006 hinaus eine ganze Invalidenrente zuzusprechen, eventualiter sei die Sache an die Vorinstanz zurückzuweisen, damit sie nach formgerecht durchgeführtem Verfahren neu entscheide. Das Versicherungsgericht des Kantons St. Gallen schliesst auf Abweisung der Beschwerde. Die IV-Stelle und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.