Sachverhalt:
A. Der in der Schweiz wohnhafte und unselbstständig erwerbstätige O._ ist u.a. als Kommanditist an der X._ GmbH & Co. KG mit Sitz in Y._ (Deutschland) beteiligt. Auf den von dieser (und einer weiteren) deutschen Gesellschaft in den Jahren 2003-2009 ausgerichteten Erträgen erhob die Ausgleichskasse des Kantons Bern mit Einspracheentscheid vom 28. Oktober 2010 die persönlichen Beiträge als Selbstständigerwerbender.
B. Die hiegegen erhobene (auf die Beteiligung an der X._ GmbH & Co. KG beschränkte) Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 1. April 2011 ab.
C. O._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag auf Aufhebung des vorinstanzlichen Entscheides (und entsprechend des Einspracheentscheides sowie der Beitragsverfügungen).

Erwägungen:
1. 1.1 Der Beitragspflicht unterliegen grundsätzlich alle Einkünfte, die sich aus einer auf Erwerb gerichteten Tätigkeit (<ref-law>) ergeben, gleichgültig, ob diese im Haupt- oder Nebenberuf und ob sie regelmässig ausgeübt wird (Urteil H 301/01 vom 29. März 2005 E. 3.1). Die blosse Verwaltung des persönlichen Vermögens fällt nicht unter den Begriff der (selbstständigen) Erwerbstätigkeit im Sinne von <ref-law> und <ref-law>. Der daraus resultierende reine Kapitalertrag unterliegt daher nicht der Beitragspflicht (<ref-ruling> E. 3.1 S. 253; <ref-ruling> S. 385).
1.2 Beitragspflichtiges Einkommen aus selbstständiger Erwerbstätigkeit im Sinne von <ref-law> und <ref-law> stellen auch die Einkommen von Kollektiv- und Kommanditgesellschaften sowie von anderen auf einen Erwerbszweck gerichteten Personengesamtheiten ohne juristische Persönlichkeit dar. Die Teilhaber haben die Beiträge von ihrem Anteil zu entrichten (<ref-law> sowie Überschrift zu <ref-law> [II. Beiträge vom Einkommen aus selbstständiger Erwerbstätigkeit, 1. Allgemeines]). Unter diese Bestimmung fallen auch Beteiligungen an Gesellschaften mit Sitz im Ausland in einem Staat, für welchen die Verordnung (EWG) Nr. 1408/71 des Rates vom 14. Juni 1971 zur Anwendung der Systeme der Sozialen Sicherheit auf Arbeitnehmer und Selbstständigerwerbende sowie deren Familienangehörige, die innerhalb der Gemeinschaft zu- und abwandern (SR 0.831.109.268; anwendbar für die Schweiz gemäss Art. 8 und Anhang II des Abkommens vom 21. Juni 1999 zwischen der Schweizerischen Eidgenossenschaft einerseits und der Europäischen Gemeinschaft und ihren Mitgliedstaaten andererseits über die Freizügigkeit [FZA; SR 0.142.112.681]), gilt (SVR 2010 AHV Nr. 3, 9C_33/2009, E. 3.2 und 3.3; Urteil H 177/06 vom 28. September 2007 E. 4.2 und 4.3). Deutschland, wo die X._ GmbH & Co. KG ihren Geschäftssitz hat, ist Vertragsstaat. Nach der Rechtsprechung ist für die Anwendbarkeit von <ref-law> allein entscheidend, ob es sich um eine auf einen Erwerbszweck gerichtete Personengesamtheit ohne juristische Persönlichkeit handelt. Dagegen ist nicht von Belang, ob die (ausländische) Gesellschaft mit einer Kollektiv- oder Kommanditgesellschaft nach schweizerischem Recht vergleichbar ist, wie im Einzelfall die Einflussmöglichkeiten der Gesellschafter sind, ob die Gesellschaftsstruktur personen- oder mehr kapitalbezogen und die Firma international tätig ist (<ref-ruling> E. 4 S. 264 ff.; SVR 2011 AHV Nr. 8 E. 1.1; Urteil 9C_853/2009 vom 23. Juli 2010 E. 4).
2. 2.1 Streitig ist, ob die betraglich nicht strittigen Erträge, welche der Beschwerdeführer als Kommanditist der deutschen Gesellschaft in den Jahren 2003-2009 erhalten hat, beitragspflichtiges Einkommen aus selbstständiger Erwerbstätigkeit darstellen.
Dabei handelt es sich um eine Rechtsfrage, welche das Bundesgericht frei prüft (<ref-law>; <ref-ruling> E. 2 S. 252). Das Bundesgericht legt seiner Beurteilung den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung der Vorinstanz nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (Art. 97 Abs. 1 und Art. 105 Abs. 2 BGG).
2.2 Das kantonale Gericht stellte in tatsächlicher Hinsicht fest, die X._ GmbH & Co. KG habe per 2001/2002 den Betrieb eines Handelsgewerbes aufgegeben, doch habe die Vermietung von Immobilien auch zum wirtschaftlichen Tätigkeitsfeld der bis 2002 geführten Handelsgesellschaft gehört. Die Gesellschaft erziele beträchtliche Mieteinnahmen aus der Vermietung mehrerer Liegenschaften. Die Tätigkeit sei sodann nach der Art und Weise, wie sie betrieben werde, auf Gewinnerzielung und -ausschüttung an die Beteiligten gerichtet. Der Beschwerdeführer habe in den Jahren 2003-2009 in sieben Jahren durchschnittlich knapp Fr. 27'000.- pro Jahr Gewinnausschüttung erhalten. Dies entspreche bei einem in die Gesellschaft investierten Kapital zwischen Fr. 250'000.- und Fr. 300'000.- einer Rendite von ca. 10 %. Die Gesellschaft verfolge damit auch nach Aufgabe des Handelsbetriebes weiterhin einen Erwerbszweck im Sinne von <ref-law>. Mithin habe die Ausgleichskasse die vom Beschwerdeführer aus seiner Beteiligung am Geschäftsgewinn der X._ GmbH & Co. KG erzielten Einkünfte zu Recht als Einkommen eines Selbstständigerwerbenden im Nebenerwerb qualifiziert und der Beitragspflicht unterstellt.
2.3 Nach Auffassung des Beschwerdeführers liegt die einzige Tätigkeit der X._ GmbH & Co. KG in der Vermietung der Immobilien, d.h. in der kapitalmässigen Nutzung des Vermögens. Die Gesellschaft habe nach der Betriebsaufgabe per 2001/2002 nur noch als stillgelegter Gewerbebetrieb ("ruhende Gesellschaft" nach deutschem Recht) fortbestanden und ohne Arbeitnehmer einzig die im Eigentum der Gesellschafter stehenden Liegenschaften vermietet, sodass die tatsächlichen Verhältnisse dem Handelsregistereintrag widersprächen, was zur Entkräftung der Vermutung eines entsprechenden Erwerbszweckes führe. Die Erzielung von namhaften Mietzinseinnahmen aus der Vermietung mehrerer Liegenschaften bilde kein Indiz für eine selbstständige Erwerbstätigkeit, weil solche Umstände sowohl bei selbstständiger Erwerbstätigkeit als auch bei schlichter Vermögensverwaltung vorliegen könnten und noch keinen Schluss auf die Art und Weise der Tätigkeit zuliessen. Es treffe zu, dass noch während des Bestands des Handelsbetriebs der betriebliche Raumbedarf abgenommen habe, sodass einige der Räumlichkeiten an Dritte vermietet werden konnten. Dem Geschäftszweck dienten die vermieteten Räumlichkeiten indes nicht mehr, was sich nicht zuletzt auch in der steuerlichen Bemessungsgrundlage niedergeschlagen habe (Gewerbesteuerbefreiung der Mieteinnahmen bei der Gesellschaft). Das deutsche Steuerrecht kenne eine spezielle Regelung, welche ausserhalb des Gesellschaftszwecks liegende Einkünfte von der Gewerbesteuer ausnehme. Diesem Umstand, welcher keine Parallele im schweizerischen Steuerrecht finde, sei nach Auffassung des Beschwerdeführers - im Unterschied zur Würdigung durch die Vorinstanz - Rechnung zu tragen. Entgegen der Auffassung der Vorinstanz habe die Aufgabe des Handelsbetriebs zu einer grundsätzlichen Änderung geführt, weil danach kein Betrieb mehr vorhanden gewesen sei und somit im Rahmen der X._ GmbH & Co. KG auch keine Tätigkeit mehr stattgefunden habe, welche als selbstständige Erwerbstätigkeit angesehen werden könne. Die Gesellschafter der X._ GmbH & Co. KG, welche auch als Eigentümer der vermieteten Liegenschaften im Grundbuch eingetragen seien, hätten fortan die Gesellschaft schlicht als Organisationsform für die Verwaltung ihres Miteigentums genutzt. Ebensowenig vermöge zu überzeugen, wenn die Vorinstanz die Höhe der Rendite zur Begründung eines Erwerbszwecks bzw. einer selbstständigen Erwerbstätigkeit heranziehe. Zum einen sei die Rendite unzutreffend berechnet, müsste dazu doch richtigerweise auf die Verkehrswerte und nicht auf die Buchwerte abgestellt werden. Andererseits könne ein hohes Anlagerisiko nicht mit einem unternehmerischen Risiko gleichgesetzt werden und eine selbstständige Erwerbstätigkeit begründen, wobei hier bei Immobilienbesitz fraglich erscheine, inwiefern überhaupt ein hohes Risiko vorliege. Aus <ref-ruling> könne für eine GmbH & Co. KG ohne Aktivität nicht geschlossen werden, ein Teilhaber erziele zwangsläufig Einkünfte aus selbstständiger Erwerbstätigkeit. Von einer Weiterführung eines nach kaufmännischer Art geführten Gewerbes könne auch deshalb nicht gesprochen werden, weil mit der Vermietung keine weiteren (damit verbundenen) Dienstleistungen erbracht würden. Entgegen der Auffassung der Vorinstanz liege im Umstand, dass die vermieteten Liegenschaften nicht der X._ GmbH & Co. KG, sondern den einzelnen Gesellschaftern gehörten, durchaus ein zusätzliches Indiz, welches gegen eine unternehmerische Tätigkeit im Rahmen der Gesellschaft spreche.
2.4 Das kantonale Gericht hat in tatsächlicher Hinsicht verbindlich und unwidersprochen festgestellt, dass die Gesellschaft nach Einstellung der Geschäftstätigkeit die Immobilien vermietet. Das Bundesgericht hat im Entscheid <ref-ruling> E. 5.2 S. 256 erkannt, dass die Erben von Liegenschaften, wenn sie diese nach dem Erbgang im Geschäftsvermögen belassen, für die Mieterträge aus den Liegenschaften beitragsrechtlich als Selbstständigerwerbende zu qualifizieren sind, selbst wenn sie die Geschäftstätigkeit des Erblassers nicht fortsetzen. Gleich verhält es sich hier. Die Gesellschaft hat zwar ihre Geschäftstätigkeit aufgegeben, sie besteht aber weiterhin, vermietet die Geschäftsliegenschaften und verbucht die Einnahmen. Dabei kann sich der Beschwerdeführer nicht auf Grund der steuerlichen Besonderheiten in Deutschland von der AHV-rechtlichen Beitragspflicht befreien. Es ist auf Grund des schweizerischen Rechts zu beurteilen, ob die Erträge aus der Gesellschaft AHV-rechtlich als selbstständige Erwerbstätigkeit zu erfassen sind. Dabei handelt es sich bei der X._ GmbH & Co. KG um eine Gesellschaft, die in den Anwendungsbereich von <ref-law> fällt (<ref-ruling>; SVR 2011 AHV Nr. 8). Ausgleichskasse und kantonales Gericht haben daher zu Recht die Einkünfte aus der erwähnten Gesellschaft der Beitragspflicht unterstellt.
3. Der unterliegende Beschwerdeführer trägt die Gerichtskosten (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'000.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 8. Juli 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer