Sachverhalt:
A. Der 1942 geborene M._, verheiratet mit der 1945 geborenen F._, war bis zu seiner vorzeitigen Pensionierung per 31. Januar 2002 als Mitglied der Direktion der Bank X._ tätig. Anschliessend nahm er an der philosophisch-historischen Fakultät der Universität Y._ ein Zweitstudium auf, welches er im Oktober 2007 mit dem Lizentiat abschloss. Daneben war er als unabhängiger Vermögensverwalter tätig. Als Student entrichtete er jeweils AHV-Beiträge im Umfang des jährlichen Mindestbeitrages. Gestützt auf eine Anmeldung von F._ für Nichterwerbstätige erhob die Ausgleichskasse des Kantons Bern (hiernach: die Ausgleichskasse) von M._ und F._ rückwirkend ab dem 1. Januar 2003 AHV-/IV-/EO-Beiträge als Nichterwerbstätige; mit insgesamt zehn Verfügungen je vom 4. September 2007 setzte die Ausgleichskasse die Beitragspflicht sowohl von M._ als auch von F._ für die Beitragsperioden 2003 bis 2006 jährlich auf Fr. 10'302.40 und für das erste Quartal der Beitragsperiode 2007 auf Fr. 2'575.60, total auf Fr. 87'570.40 fest. Dagegen erhob der Versicherte Einsprache und beantragte die Überprüfung seiner Beitragspflicht und derjenigen seiner Ehefrau insbesondere unter Berücksichtigung seiner selbstständigen Erwerbstätigkeit als unabhängiger Vermögensverwalter. Nach Vornahme weiterer Abklärungen wies die Ausgleichskasse die Einsprache mit zwei Einspracheentscheiden je vom 28. Januar 2010 mit der Begründung ab, bei der Tätigkeit von M._ als unabhängiger Vermögensverwalter handle es sich nicht um eine dauernde volle Erwerbstätigkeit im Sinne der Gesetzgebung, weshalb er als Nichterwerbstätiger zu qualifizieren sei.
B. Mit Entscheid vom 31. Mai 2010 wies das Verwaltungsgericht des Kantons Bern die von M._ und F._ eingereichten Beschwerden ab.
C. M._ und F._ führen Beschwerde in öffentlich-rechtlichen Angelegenheiten und stellen die Rechtsbegehren, in Aufhebung des kantonalen Entscheides und des Einspracheentscheides seien sie von allen nachträglich geltend gemachten AHV-Beitragsverpflichtungen zu befreien.
Die Ausgleichskasse beantragt die Abweisung der Beschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten kann wegen Rechtsverletzung gemäss den Art. 95 f. BGG erhoben werden. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>), und kann deren Sachverhaltsfeststellung von Amtes wegen nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>; vgl. auch <ref-law>). Mit Blick auf diese Kognitionsregelung ist aufgrund der Vorbringen in der Beschwerde ans Bundesgericht zu prüfen, ob der angefochtene Gerichtsentscheid in der Anwendung der massgeblichen materiell- und beweisrechtlichen Grundlagen (u.a.) Bundesrecht verletzt (<ref-law>), einschliesslich einer allfälligen rechtsfehlerhaften Tatsachenfeststellung (Art. 97 Abs. 1, <ref-law>).
2. Es wird letztinstanzlich seitens der Beschwerdeführenden nichts vorgebracht, was geeignet wäre, die verfügten und vorinstanzlich bestätigten Beitragspflichten als Nichterwerbstätige (für 2003 bis und mit 1. Quartal 2007) materiellrechtlich in Frage zu stellen. Es kann diesbezüglich auf die in allen Teilen zutreffenden Erwägungen im angefochtenen Entscheid verwiesen werden (<ref-law>). Soweit sie überhaupt die gesetzlichen Minimalanforderungen an eine genügende Beschwerdebegründung (<ref-law>) erfüllt, enthält die Eingabe vom 23. Juni 2010 nichts, was die vorinstanzlichen Sachverhaltsfeststellungen als qualifiziert unrichtig oder die daraus gezogenen Schlussfolgerungen als bundesrechtswidrig erscheinen lassen könnte, worauf die Kognition des Bundesgerichts beschränkt ist (vorn E. 1).
3. Zu prüfen ist aufgrund der Vorbringen letztinstanzlich nur, ob die Beschwerdeführenden gestützt auf den verfassungsmässigen Vertrauensschutz (<ref-law>) beanspruchen können, abweichend von der gesetzlichen Ordnung (<ref-law>, <ref-law>) behandelt zu werden und, im Falle der Bejahung, infolgedessen für den erwähnten Zeitraum keine Beiträge als Nichterwerbstätige auf der Basis ihres Vermögens und Renteneinkommens bezahlen zu müssen. Es ist fraglich, ob die eingereichte Beschwerde den qualifizierten Anforderungen an eine Verfassungsrüge genügt (<ref-law>; Rügeprinzip). Will man dies annehmen, ist sie - zumindest im Ergebnis - unbegründet: Wohl besteht kein Anlass, an der Darstellung der Beschwerdeführenden zu zweifeln, wonach der Ehemann auf die seinerzeitige Erkundigung hin betreffend die AHV-rechtlichen Folgen seines nach der vorzeitigen Pensionierung aufzunehmenden und in der Folge auch tatsächlich absolvierten Studiums keine richtige oder doch zumindest keine vollständige, die Aspekte seines Einzelfalles mit berücksichtigende Auskunft erhalten hatte. Das allein reicht aber nach ständiger, vom kantonalen Gericht zutreffend dargelegter Rechtsprechung zu <ref-law> für eine erfolgreiche Berufung auf den Vertrauensschutz nicht aus. Vielmehr wird u.a. zusätzlich verlangt, dass gestützt auf die fehlerhafte Auskunft deren Adressat eine Disposition getroffen hat, die nicht ohne Nachteil rückgängig gemacht werden kann (<ref-ruling> E. 6.1 S. 636 mit Hinweisen). Diesbezüglich haben die Beschwerdeführenden im kantonalen Gerichtsverfahren nichts geltend gemacht. Wenn nun vor Bundesgericht erstmals vorgebracht wird, der Ehemann hätte, richtig informiert, im massgeblichen Zeitraum eine (unselbstständige) Anstellung versehen, so liegt darin zunächst ein unzulässiges und aus diesem Grund an sich nicht zu hörendes Novum (<ref-law>). Davon abgesehen ist aber eine solche erst nachträglich - unter dem Eindruck des vertrauensschutzrechtlich massgebenden Kriteriums der getätigten Disposition - vorgetragene Behauptung nicht überzeugend. Sie ist auch nicht zu beweisen; es liegt Beweislosigkeit vor, was sich zulasten der Beschwerdeführenden auswirkt, die aus dem unbewiesen gebliebenen Sachverhalt Rechte ableiten wollten, hier jenes auf eine von der gesetzlichen Beitragsordnung abweichende Behandlung (<ref-ruling> E. 3b S. 264 mit Hinweis; Urteil 8C_663/2009 vom 27. April 2010 E. 2.2).
4. Die Gerichtskosten werden den Beschwerdeführern als unterliegender Partei auferlegt (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 4'500.- werden den Beschwerdeführern auferlegt.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 20. Januar 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Scartazzini