Sachverhalt: A. Der 1961 geborene O._ meldete sich im September 1997 unter Hinweis auf Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Nach Abklärung der erwerblichen und medizinischen Verhältnisse sprach ihm die IV-Stelle des Kantons Zürich mit Wirkung ab 1. April 1998 eine ganze Invalidenrente zu (Verfügung vom 17. Dezember 2001). Am 20. August 2002 bestätigte die IV-Stelle revisionsweise einen unveränderten Invaliditätsgrad und Rentenanspruch. Im November 2006 leitete die IV-Stelle erneut ein Revisionsverfahren ein, in dessen Verlauf sie ein Gutachten (vom 5. Juni 2008) beim Institut A._ einholte. Nach Durchführung des Vorbescheidverfahrens verfügte sie am 19. August 2010 mit Wirkung ab 1. Oktober 2010 die wiedererwägungsweise Herabsetzung der bisherigen ganzen Rente auf eine Dreiviertelsrente, basierend auf einem Invaliditätsgrad von 61 %. B. Die dagegen geführte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 27. Dezember 2011 ab. C. O._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit den Rechtsbegehren, in Aufhebung des vorinstanzlichen Entscheids sei ihm weiterhin eine ganze Rente der Invalidenversicherung zuzusprechen. Das Sozialversicherungsgericht und die IV-Stelle schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Stellungnahme.