Sachverhalt: A. Der deutsche Staatsangehörige H._ war von 1981 bis 1997 erster Bürgermeister von X._ (Deutschland). Seither ist er als Partner in einer deutschen Anwaltskanzlei tätig und arbeitet zudem in einem Anwaltsbüro in der Schweiz. Seit 2003 hat er Wohnsitz in der Schweiz und ist bei der Ausgleichskasse des Kantons St. Gallen (nachfolgend: Ausgleichskasse) als Selbstständigerwerbender erfasst. Mit Nachtragsverfügung vom 22. Dezember 2009 setzte die Ausgleichskasse die persönlichen Beiträge des H._ für das Jahr 2006 auf Fr. 27'336.60 fest und mit Nachtragsverfügung vom 20. Juli 2010 für das Jahr 2005 auf Fr. 20'934.-. An diesen Verfügungen hielt die Ausgleichskasse mit Einspracheentscheid vom 14. Dezember 2010 fest. B. Die hiegegen erhobene Beschwerde des H._ wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 4. August 2011 ab. C. H._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, in Aufhebung des vorinstanzlichen Entscheids sowie der beiden Nachtragsverfügungen betreffend die Jahre 2005 und 2006 und des Einspracheentscheids vom 14. Dezember 2010 sei sein Verdienst in Deutschland nicht in die Beitragsrechnung miteinzubeziehen. Vorinstanz, IV-Stelle und Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.