Sachverhalt:
A. Die deutsche Staatsangehörige B._ (geboren 1970), wohnhaft in X._, ist seit 1. Januar 2005 als Selbstständigerwerbende der Ausgleichskasse des Kantons Graubünden angeschlossen. Sie ist Kommanditistin der in Deutschland domizilierten Y._ GmbH & Co. KG. Mit Nachtragsverfügungen vom 20. November 2008, 31. Dezember 2009 und 20. Mai 2010 setzte die Ausgleichskasse die beitragspflichtigen Einkommen unter Anrechnung der in Deutschland erzielten Einkünfte auf Fr. 548'300.- (2005), Fr. 1'612'900.- (2006) und Fr. 1'776'800.- (2007) fest und forderte die Differenzbeiträge nach. Daran hielt sie mit Einspracheentscheid vom 25. November 2010 fest.
B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Graubünden mit Entscheid vom 17. Mai 2011 ab.
C. B._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides seien die Beitragsverfügungen für die Jahre 2005, 2006 und 2007, soweit sie die Einkünfte aus Deutschland betreffen, ersatzlos aufzuheben. Eventuell sei die Sache an die Ausgleichskasse zurückzuweisen mit der Aufgabe, das investierte Eigenkapital nach Verkehrswerten zu beziffern und den Zinsabzug dementsprechend vorzunehmen.
Kantonales Gericht und Ausgleichskasse des Kantons Graubünden schliessen auf Abweisung der Beschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.
Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzungen gemäss Art. 95 und 96 BGG erhoben werden. Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden; es kann eine Beschwerde aus einem anderen als dem angerufenen Grund gutheissen und es kann sie mit einer von der Argumentation der Vorinstanz abweichenden Begründung abweisen (BGE 134 V 250 E. 1.2 S. 252 mit Hinweisen; 133 III 545 E. 2.2 S. 550; 130 III 136 E. 1.4 S. 140). Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht der Beschwerde (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254).
2. Beitragspflichtiges Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von Art. 9 Abs. 1 AHVG und Art. 17 AHVV stellen auch die Einkommen von Kollektiv- und Kommanditgesellschaften sowie von anderen auf einen Erwerbszweck gerichteten Personengesamtheiten ohne juristische Persönlichkeit dar. Die Teilhaber haben die Beiträge von ihrem Anteil zu entrichten (Art. 20 Abs. 3 AHVV sowie Überschrift zu Art. 17 ff. AHVV [II. Beiträge vom Einkommen aus selbstständiger Erwerbstätigkeit, 1. Allgemeines]). Unter diese Bestimmung fallen auch Beteiligungen an Gesellschaften mit Sitz im Ausland in einem Staat, für welchen die bis 31. März 2012 gültig gewesene Verordnung (EWG) Nr. 1408/71 des Rates vom 14. Juni 1971 zur Anwendung der Systeme der Sozialen Sicherheit auf Arbeitnehmer und Selbstständigerwerbende sowie deren Familienangehörige, die innerhalb der Gemeinschaft zu- und abwandern (SR 0.831.109.268; anwendbar für die Schweiz gemäss Art. 8 und Anhang II des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit [FZA; SR 0.142.112.681]), gilt (SVR 2010 AHV Nr. 3, 9C_33/2009, E. 3.2 und 3.3; Urteil H 177/06 vom 28. September 2007 E. 4.2 und 4.3). Deutschland, wo die Y._ & Co. KG ihren Geschäftssitz hat, ist Vertragsstaat. Nach der Rechtsprechung ist für die Anwendbarkeit von Art. 20 Abs. 3 AHVV allein entscheidend, ob es sich um eine auf einen Erwerbszweck gerichtete Personengesamtheit ohne juristische Persönlichkeit handelt. Dagegen ist nicht von Belang, ob die (ausländische) Gesellschaft mit einer Kollektiv- oder Kommanditgesellschaft nach schweizerischem Recht vergleichbar ist, wie im Einzelfall die Einflussmöglichkeiten der Gesellschafter sind, ob die Gesellschaftsstruktur personen- oder mehr kapitalbezogen und die Firma international tätig ist (BGE 136 V 258; Urteile 9C_853/2009 vom 23. Juli 2010 E. 4, 9C_504/2010 vom 1. September 2010 E. 1.1 [SVR 2011 AHV Nr. 8 S. 25], 9C_342/2011 vom 8. Juli 2011 E. 2.4 und 9C_1055/2010 vom 4. August 2011 E. 4.3). Ist auf eine Person das schweizerische Recht anwendbar, untersteht somit ihr gesamtes selbstständiges Erwerbseinkommen der schweizerischen AHV-Pflicht, selbst wenn dieses in einem anderen Vertragsstaat erzielt wurde (BGE 138 V 258 E. 4.2 in fine).
3. Streitig ist in erster Linie, ob es sich bei den Erträgen aus einer deutschen GmbH & Co. KG im konkreten Fall um Einkommen aus selbstständiger Tätigkeit handelt.
3.1 Das kantonale Gericht geht gestützt auf die Rechtsprechung des Bundesgerichts (vgl. E. 2 hievor) davon aus, aus den Urteilen gehe nicht explizit hervor, wie das Bundesgericht den Begriff "selbstständige Tätigkeit" nach Art. 14a Abs. 2 der VO 1408/71 ausgelegt habe, wenn auch die Urteile eine Auslegung nach schweizerischem Recht indizieren. Dennoch sei unabhängig davon im Ergebnis festzuhalten, dass sich die Frage der sozialversicherungsrechtlichen Beitragspflicht infolge einer Beteiligung an deutschen Kommanditgesellschaften - bei einer in der Schweiz wohnhaften und in der Schweiz unselbstständig oder selbstständig erwerbstätigen Person - nach bundesgerichtlicher Rechtsprechung allein nach schweizerischem Recht beurteile. Zusammenfassend kam es zum Schluss, dass sich die Beitragspflicht der in der Schweiz wohnhaften und selbstständig erwerbstätigen Beschwerdeführerin hier insgesamt nach schweizerischem Recht richtet (Art. 13 Abs. 1 in Verbindung mit Art. 14a Abs. 2 VO 1408/71); auch wenn man mit der Beschwerdeführerin davon ausgehen würde, nach deutschem Recht sei eine Beteiligung an einer deutschen Kommanditgesellschaft nicht als selbstständige Tätigkeit zu qualifizieren (Art. 13 Abs. 1 in Verbindung mit Art. 13 Abs. 2 lit. b der VO 1408/71). Demnach unterstehe nach bundesgerichtlicher Rechtsprechung das gesamte Erwerbseinkommen der Beschwerdeführerin dem schweizerischen AHV-Recht, auch wenn es in einem anderen Vertragsstaat erzielt worden sei. Das habe zur Folge, dass auch die in Deutschland erzielten Einkünfte der Beschwerdeführerin als Kommanditistin der in Deutschland domizilierten Y._ GmbH & Co. KG als beitragspflichtiges Einkommen aus selbstständiger Erwerbstätigkeit zu qualifizieren seien, weshalb dafür Sozialversicherungsbeiträge erhoben werden müssten. Der scheinbare Widerspruch - nach deutschem Recht keine selbstständige Tätigkeit, nach schweizerischem AHV-Recht selbstständige Erwerbstätigkeit - erkläre sich insofern, als eine Auslegung des internationalen Kollisionsrechts zur Ermittlung der anzuwendenden Rechtsordnung (Auslegung des Begriffs selbstständige Tätigkeit nach deutschem Recht; Auslegung 1. Stufe) von der Anwendung der von der Kollisionsordnung berufenen Rechtsordnung in der Sache (Auslegung des schweizerischen AHV-Rechts; Auslegung 2. Stufe) strikte zu unterscheiden sei.
3.2 Die Beschwerdeführerin macht geltend, für die Auslegung des Begriffs der "selbstständigen Erwerbstätigkeit" sei grundsätzlich die Rechtsprechung des EuGH zur Auslegung von Art. 14a Abs. 2 der VO 1408/71 massgebend, da die zu prüfende Verordnung 1408/71 für die Schweiz aufgrund von Anhang II zum FZA gelte (Hinweis auf Art. 153a AHVG). Gemäss Rechtsprechung des EuGH sei der Begriff der "selbstständigen Tätigkeit" im Sinne von Art. 14a der VO 1408/71 für Tätigkeiten in einem Mitgliedstaat jeweils gesondert nach dem jeweiligen autonomen Recht auszulegen. Ob eine selbstständige Tätigkeit vorliege, beurteile sich also nach dem jeweiligen autonomen Recht des betreffenden Mitgliedstaates. Dies gehe im Übrigen auch aus der Begriffsdefinition in der neuen Verordnung Nr. 883/2004 vom 29. April 2004 (Art. 1 lit. b) hervor. Bei den Beteiligungen der Beschwerdeführerin als Kommanditistin an der Y._ GmbH & Co. KG nach deutschem Recht handle es sich nicht um eine selbstständige Tätigkeit. Es handle sich um ein reines Kapitalengagement ohne Einflussnahme, Mitwirkungsmöglichkeiten oder Zeichnungsberechtigung. Prinzipiell unterscheide sich ihre Position gegenüber der Familiengesellschaft nicht von derjenigen einer Minderheitsaktionärin einer Familien-Holding-Gesellschaft nach schweizerischer Rechtspraxis. Einziger Sinn und Zweck ihres Engagements sei es, Erträge aus einem kapitalorientierten Beteiligungsverhältnis zu erlangen. Da es sich bei ihren Beteiligungen um eine simple Kapitalanlage handle, betrachte das deutsche Sozialversicherungsrecht selbst dieses Engagement nicht als Erwerbstätigkeit und auch nicht als selbstständige Tätigkeit. Demzufolge komme auch Art. 14a Abs. 2 VO 1408/71 nicht zur Anwendung. Jegliche Koordinierung erübrige sich. Wenn zwei völlig unterschiedliche Sozialversicherungssysteme aufeinander träfen - etwa der Verzicht auf die Beitragserhebung in Deutschland und die maximale Beitragserhebung in der Schweiz - könne der Zweck einer Koordination nicht sein, dass der Versicherte mit neu generierten Beitragspflichten unerwarteterweise belastet werde. Eine derartige Folge würde weit über jeglichen Sinn und Zweck des Koordinierungsgebots hinausgehen und sei mit dem Sinn und Geist des FZA nicht vereinbar. Entgegen der Auffassung der Vorinstanz führe eine konsequente Auslegung des FZA in Verbindung mit der VO 1408/71 im Lichte des Gemeinschaftsrechts dazu, dass - unter Achtung des Koordinierungsgebotes, wo es etwas zu koordinieren gibt - die Schweiz im konkreten Fall nicht zur Beitragserhebung aufgrund der in Deutschland erzielten Erträge aus der Y._ GmbH & Co. KG befugt sei. Es widerspreche jeglichem Sinn und Zweck der Personenfreizügigkeit, wenn eine Verweisungsnorm im Ergebnis zu einer Einschränkung der Personenfreizügigkeit zwischen den Mitgliedstaaten führe, anstatt die Personenfreizügigkeit zu fördern. Es bestehe vorliegend kein Anlass, Normen nur eines einzigen Mitgliedstaates anzuwenden, da auf diese Weise eine unnötig komplexe Situation geschaffen werde. Die Rechtslage sei in Art. 14a Abs. 2 VO 1408/71 klar geregelt. Schliesslich verstosse der vorinstanzliche Entscheid auch gegen das Gleichbehandlungs- resp. Nichtdiskriminierungsgebot.
4. Der kantonale Gerichtsentscheid steht in Einklang mit der bisherigen, mehrmals bestätigten Rechtsprechung des Bundesgerichts (E. 2 hievor), zu deren Änderung kein Anlass besteht. Art. 14a Abs. 2 (Satz 1 und 2) der Verordnung Nr. 1408/71 wurde gerade nicht in dem Sinne formuliert, dass eine Person, die eine selbstständige Tätigkeit gewöhnlich im Gebiet von zwei oder mehr Mitgliedstaaten ausübt, den Rechtsvorschriften des Mitgliedstaates unterliegt, in dessen Gebiet sie ihre Haupttätigkeit ausübt. Die Rechtsprechung geht von einem wortlautgetreuen Verständnis aus (Urteil H 177/06 vom 28. September 2007 E. 4.3). Dieses Ergebnis ist nicht stossend. Das FZA und die Verordnung Nr. 1408/71 wollen tendenziell Inland- und EU-Auslandsachverhalte gleich behandeln. Von daher kann es bei einer in der Schweiz wohnhaften und damit kraft Art. 1a Abs. 1 lit. a AHVG obligatorisch versicherten Person in Bezug auf die Beitragspflicht keinen Unterschied machen, ob ihr Einkünfte aus der Beteiligung an einer hier oder in einem Vertragsstaat ansässigen Kommanditgesellschaft zufliessen (9C_504/2010 vom 1. September 2010 E. 2.2). Zu Recht hat das kantonale Gericht auch offengelassen, ob die Einkünfte aus der deutschen Gesellschaft nach deutschem Recht als Einkommen aus selbstständiger Erwerbstätigkeit zu qualifizieren sind. Bei selbstständiger Erwerbstätigkeit in beiden Mitgliedstaaten ist die Zuständigkeit der AHV ebenso gegeben (Art. 14a Abs. 2 VO 1408/71), wie bei einer solchen Tätigkeit alleine in der Schweiz (Art. 13 Abs. 2 lit. b VO 1408/71 und Art. 1a Abs. 1 lit. a und b AHVG). Das Bundesgericht ist dabei in seiner, im Schrifttum mitunter kritisch betrachteten (vgl. MICHAEL NORDIN/ANNIKA FÜNFSCHILLING, Koordination der Sozialversicherungssysteme Schweiz-EU/EFTA, in: Der Schweizer Treuhänder 5/2011 S. 421 ff.; ORLANDIO RABAGLIO, Grenzüberschreitende Sozialversicherung in Europa: Problematische Koordination für Selbständigerwerbende, in: TREX Der Treuhandexperte 3/2010 S. 150 ff.; THOMAS KOLLER/MARC ANDRÉ MAUERHOFER, Der deutsche Verwaltungsrat einer schweizerischen AG aus der Sicht des europäischen Sozialversicherungsrechts, in: Wirtschaftsrecht in Theorie und Praxis, Festschrift für Roland von Büren, S. 895 ff.) Rechtsprechung, an welcher ebenfalls festzuhalten ist, implizit davon ausgegangen, dass bei Zuständigkeit der schweizerischen AHV Einkünfte aus einem Mitgliedstaat, welche aus AHV-rechtlicher Sicht selbstständiges Erwerbseinkommen darstellen, beitragspflichtig sind. Es ist aufgrund des schweizerischen Rechts zu beurteilen, ob und wie die Erträge aus der Gesellschaft AHV-rechtlich zu erfassen sind (Urteil 9C_342/2011 vom 8. Juli 2011 E. 2.4 [Mieteinnahmen aus der Vermietung von Geschäftsliegenschaften nach Aufgabe der Geschäftstätigkeit]). Namentlich stellen die Einkünfte aus einer Beteiligung an einer auf einen Erwerbszweck gerichteten Personengesellschaft ohne juristische Persönlichkeit Einkommen aus selbstständiger Erwerbstätigkeit im Sinne der AHV-Gesetzgebung dar. Die VO 1408/71 bezweckt lediglich eine Koordinierung, nicht aber eine Harmonisierung der Rechtsvorschriften der Mitgliedstaaten auf dem Gebiet der sozialen Sicherheit, sodass die materiellen und formellen Unterschiede zwischen den Systemen der sozialen Sicherheit der einzelnen Mitgliedstaaten und folglich zwischen Ansprüchen und Pflichten der Versicherten bestehen bleiben (in SVR 2010 AHV Nr. 3 S. 7 publiziertes Urteil 9C_33/2009 vom 2. September 2009, E. 3.3 mit Hinweisen). Eine AHV-rechtliche Erfassung wäre nur unzulässig, wenn die Einkünfte in beiden Mitgliedstaaten der Beitragspflicht unterworfen wären und es sich um eine doppelte Beitragsbelastung handeln würde (STEINMEYER, in: Fuchs [Hrsg.], Europäisches Sozialrecht, 4. Aufl. 2005, Rz. 2 bis 4 zu Art. 13 VO 1408/71 S. 172 f.). Von einer unzulässigen Ungleichbehandlung und einer Diskriminierung kann nicht gesprochen werden (SVR 2011 AHV Nr. 8 S. 25 E. 3, 2010 AHV Nr. 3 S. 7 E. 3.3).
5. Die Ausgleichskasse hat die Beiträge gestützt auf die grundsätzlich verbindlichen Steuermeldungen (Art. 23 Abs. 1 und 4 AHVV; BGE 121 V 80 E. 2c S. 83) festgesetzt. Die entsprechenden Zahlen hat die Beschwerdeführerin weder in der Einsprache noch im kantonalen Beschwerdeverfahren beanstandet. Soweit im letztinstanzlichen Verfahren erstmals vorgebracht wird, es seien lediglich Buchwerte zur Ermittlung des Vermögens für Steuerzwecke berücksichtigt worden, da eine Bewertung nach Verkehrswerten mit viel Aufwand und erheblichen Kosten verbunden gewesen wäre und in steuerrechtlicher Hinsicht kein anderes Ergebnis hervorgebracht hätte, so handelt es sich dabei in tatsächlicher Hinsicht um unzulässige Noven (Art. 99 Abs. 1 BGG). Der darauf beruhende Eventualantrag wird ebenfalls erstmals im letztinstanzlichen Verfahren gestellt und ist damit unzulässig (Art. 99 Abs. 2 BGG). Es fehlen daher Anhaltspunkte für ernsthafte Zweifel an der Richtigkeit der von den zuständigen Steuerbehörde gemeldeten Beträge.
6. Dem Ausgang des Verfahrens entsprechend hat die Beschwerdeführerin die Gerichtskosten zu tragen (Art. 66 Abs. 1 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 8'000.- werden der Beschwerdeführerin auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Graubünden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 7. September 2012
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Meyer
Der Gerichtsschreiber: Nussbaumer