Sachverhalt:
A. Die 1941 geborene G._ ist verheiratet. Seit 1. Februar 2004 beziehen sie und ihr vier Jahre älterer Ehemann je eine plafonierte Vollrente der Alters- und Hinterlassenenversicherung. Mit Verfügung vom 19. Oktober 2004 erhob die Ausgleichskasse des Kantons Bern bei G._ u.a. für 2003 Beiträge für Nichterwerbstätige in der Höhe von Fr. 10'100.40 zuzüglich eines Verwaltungskostenbeitrages von Fr. 202.-. Bemessungsgrundlage bildeten das eheliche Vermögen am Stichtag 31. Dezember 2003 sowie das Renteneinkommen des Ehemannes. G._ bezahlte den Betrag von Fr. 10'302.40. Gleichzeitig erhob sie aber Einsprache, welche die Ausgleichskasse mit Entscheid vom 12. November 2004 abwies u.a. mit dem Hinweis, die angefochtenen Verfügungen dienten lediglich der provisorischen Beitragsfestsetzung.
Mit Schreiben vom 10. September 2005 ersuchte G._ unter Beilage einer Kopie der Verfügung der Ausgleichskasse "Versicherung" vom 10. März 2005 über die von ihrem Ehemann für 2003 zu entrichtenden persönlichen Beiträge von Fr. 3170.40 um Erlass einer beschwerdefähigen Verfügung über allfällige Nichterwerbstätigenbeiträge für 2003. Am 27. September 2005 erliess die kantonale Ausgleichskasse eine gleich wie diejenige vom 27. Oktober 2004 lautende Beitragsverfügung. Mit Einspracheentscheid vom 4. November 2005 bestätigte sie die Beitragspflicht in der Höhe von Fr. 10'302.40.
B. Die Beschwerde der G._ wies die Sozialversicherungsrechtliche Abteilung des Verwaltungsgerichts des Kantons Bern mit Entscheid vom 28. Februar 2006 ab.
C. G._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, der kantonale Gerichtsentscheid sei aufzuheben und die Ausgleichskasse sei zu verpflichten, Fr. 10'302.40 zurückzuerstatten.
Die kantonale Ausgleichskasse beantragt die Abweisung der Verwaltungsgerichtsbeschwerde, das Bundesamt für Sozialversicherungen (BSV) deren Gutheissung.
D. Am 26. Januar 2007 hat die II. sozialrechtliche Abteilung des Bundesgerichts (bis 31. Dezember 2006: Eidgenössisches Versicherungsgericht) den Fall parteiöffentlich beraten.

Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz vom 17. Juni 2005 über das Bundesgericht (BGG) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205 ff., 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> Erw. 1.2).
2. 2.1 Die Versicherten sind beitragspflichtig, solange sie eine Erwerbstätigkeit ausüben. Für Nichterwerbstätige beginnt die Beitragspflicht am 1. Januar nach Vollendung des 20. Altersjahres und dauert bis zum Ende des Monats, in welchem Frauen das 64. und Männer das 65. Altersjahr vollendet haben (<ref-law>). Die eigenen Beiträge gelten als bezahlt, sofern der Ehegatte Beiträge von mindestens der doppelten Höhe des Mindestbeitrages bezahlt hat, u.a. bei nichterwerbstätigen Ehegatten von erwerbstätigen Versicherten (<ref-law>).
2.2 Im Urteil H 127/03 vom 29. Oktober 2003 (<ref-ruling>) hat das ehemalige Eidgenössische Versicherungsgericht entschieden: die Tatsache, dass eine versicherte Person, die eine Altersrente der AHV bezieht, weiterhin ein Erwerbseinkommen erzielt und Beiträge in mindestens der doppelten Höhe des Mindestbeitrages entrichtet, führt nicht zur Befreiung des nichterwerbstätigen Ehegatten von der Beitragspflicht. <ref-law> ist in diesen Fällen nicht anwendbar (<ref-ruling> Erw. 3.2.2).
In Anwendung dieser Rechtsprechung hat die Ausgleichskasse Nichterwerbstätigenbeiträge für 2003 erhoben, was das kantonale Gericht bestätigt hat.
3. In der Verwaltungsgerichtsbeschwerde wird eine Präzisierung der Rechtsprechung gemäss <ref-ruling> beantragt. Danach soll <ref-law> seinem Wortlaut entsprechend ebenfalls zur Anwendung gelangen, wenn dem nichterwerbstätigen Ehegatten nach der Einkommensteilung - bei Eintritt des zweiten Versicherungsfalles Alter (vgl. Art. 29quinquies Abs. 3 lit. a und Abs. 4 lit. a AHVG) - auch unter Berücksichtigung der nach Eintritt des ersten Versicherungsfalles erworbenen Beitragsjahre ohne Gutschrift des hälftigen, nicht rentenbildenden Einkommens des andern erwerbstätigen Ehegatten, eine (maximale) Vollrente zustehe. In solchen Fällen werde der Sinn und Zweck des Splitting nicht verletzt und eine Abweichung vom klaren Gesetzeswortlaut lasse sich deshalb auch nicht begründen. Die Beschwerdeführerin habe aufgrund ihrer Beiträge und Beitragsjahre in jedem Fall Anspruch auf eine (maximale) Vollrente. Sie habe daher für 2003 keine Nichterwerbstätigenbeiträge zu bezahlen.
Das kantonale Gericht hat die beantragte Präzisierung der Rechtsprechung mit der Begründung abgelehnt, <ref-ruling> lasse für eine Differenzierung im dargelegten Sinne keinen Raum.
4. 4.1 Es steht ausser Frage, dass nach dem Wortlaut des <ref-law> (in Verbindung mit Art. 1 Abs. 1 sowie Art. 3 Abs. 1 erster Satz AHVG) die eigenen Beiträge einer nichterwerbstätigen Person auch als bezahlt zu gelten haben, wenn deren erwerbstätiger Ehegatte Anspruch auf eine Altersrente hat und Beiträge von mindestens der doppelten Höhe des Mindestbeitrages entrichtet. Das Gesetz differenziert nicht danach, ob der erwerbstätige Ehegatte eine Altersrente (vor-)bezieht oder nicht. Das damalige Eidgenössische Versicherungsgericht sah jedoch einen triftigen Grund, vom klaren Gesetzeswortlaut abzuweichen und <ref-law> bei nichterwerbstätigen Ehegatten von erwerbstätigen Bezügern einer Altersrente nicht anzuwenden, im Umstand, dass gemäss Art. 29quinquies Abs. 3 lit. a und Abs. 4 lit. a AHVG e contrario die nach Eintritt des Versicherungsfalles Alter beim zuerst rentenberechtigten Ehegatten erzielten beitragspflichtigen Einkommen nicht der Teilung und gegenseitigen je hälftigen Anrechnung («Splitting») unterliegen (vgl. <ref-ruling>, insbesondere S. 366 Erw. 5; ferner <ref-ruling>). Gälten auch für diese Zeiten die Beiträge der nichterwerbstätigen Person als durch den erwerbstätigen Ehegatten bezahlt, würden ihr zwar nach <ref-law> die entsprechenden Jahre als Beitragsjahre angerechnet. Es könnten ihr indessen keine rentenbildenden Erwerbseinkommen im Sinne von <ref-law> (durch Splitten des vom anderen Ehegatten erzielten Einkommens) gutgeschrieben werden. Das entspräche indessen nicht der mit der Einführung des Splitting im Rahmen der 10. AHV-Revision verfolgten Zielsetzung, dass im Unterschied zu früher alle Nichterwerbstätigen grundsätzlich beitragspflichtig sein sollen (<ref-ruling> Erw. 3.2.2).
4.2 Hauptgrund für das Eidgenössische Versicherungsgericht, <ref-law> entgegen seinem klaren Wortlaut bei nichterwerbstätigen Ehegatten erwerbstätiger Rentenbezüger nicht anzuwenden, war somit die Erhöhung des für die Berechnung der Altersrente massgebenden durchschnittlichen Jahreseinkommens nach <ref-law>. Dieses Ziel ist indessen nicht mehr erreichbar, sobald die nichterwerbstätige Person nach Eintritt des ersten Versicherungsfalles Alter bei ihrem (weiterhin) erwerbstätigen Ehegatten genügend Einkommen für den Anspruch auf die maximale Altersrente entsprechend den erworbenen Beitragsjahren bei Vollendung des 64. (bis 31. Dezember 2004: 63.) oder 65. Altersjahres nach <ref-law> ausweist. <ref-law> entgegen seinem klaren Wortlaut auch in solchen Fällen nicht anzuwenden, erforderte einen ebenso klar erkennbaren abweichenden Willen (qualifiziertes Schweigen) des Gesetzgebers, was jedoch nicht zutrifft (vgl. zur Entstehungsgeschichte dieser Vorschrift BBl 1990 II 150 sowie Amtl. Bull. 1991 S 254 f., 1993 N 212 f. und 248, 1994 S 546 und 593).
4.3 Im Sinne des Dargelegten ist <ref-ruling> Erw. 3.2.2 am Ende zu präzisieren. <ref-law> ist auch anwendbar, sobald die nichterwerbstätige Person nach Eintritt des ersten Versicherungsfalles Alter bei ihrem erwerbstätigen Ehegatten genügend Einkommen ausweist, um in den Genuss der maximalen Altersrente entsprechend den erworbenen Beitragsjahren bei Vollendung des 64. oder 65. Altersjahres nach <ref-law> ihr zustehenden zu kommen.
4.4 Das BSV beantragt in seiner Vernehmlassung sogar eine Praxisänderung in dem Sinne, dass <ref-law> ausnahmslos bei allen nichterwerbstätigen Versicherten anzuwenden ist, deren erwerbstätiger Ehegatte eine Altersrente bezieht. Zur Begründung weist die Aufsichtsbehörde u.a. auf die erste Botschaft vom 21. Dezember 2005 zur 11. AHV-Revision (Neufassung; BBl 2006 1957 ff.) hin. In dieser Revisionsvorlage schlägt der Bundesrat einen neuen <ref-law> vor, wonach Absatz 3 auch Anwendung findet für die Kalenderjahre, in denen der erwerbstätige Ehegatte eine Altersrente bezieht oder aufschiebt (BBl 2006 2003 und 2045). Es besteht indessen kein Anlass, in diesem Sinne zu entscheiden, umso weniger, als National- und Ständerat die Beratung der Vorlage noch nicht in Angriff genommen haben. Es steht fest, dass die Beschwerdeführerin unter Berücksichtigung der anrechenbaren Einkommen bis zum Eintritt des Versicherungsfalles Alter bei ihrem Ehegatten im Juli 2002 sowie der Anzahl Beitragsjahre bei Vollendung des 63. Altersjahres im Januar 2004 ebenso wie ihr Ehemann Anspruch auf die maximale Vollrente hätte, als Folge der Plafonierung jedoch lediglich 75 % der einfachen Höchstrente von Fr. 2'110.- ausbezahlt erhält. Damit sind aber nach dem Gesagten die Voraussetzungen für eine Beitragsbefreiung gegeben.
5. Die Ausgleichskasse wird der Beschwerdeführerin die bereits geleistete Zahlung von Fr. 10'302.40 für 2003 zurückerstatten.
6. Es rechtfertigt sich in diesem grundsätzlich kostenpflichtigen Verfahren (Art. 134 OG e contrario) von der Erhebung von Gerichtskosten abzusehen.
Die Beschwerdeführerin hat Anspruch auf eine Parteientschädigung (Art. 159 Abs. 1 und 2 OG in Verbindung mit Art. 135 OG).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde werden der Entscheid des Verwaltungsgerichts des Kantons Bern, Sozialversicherungsrechtliche Abteilung, vom 28. Februar 2006 und der Einspracheentscheid der Ausgleichskasse des Kantons Bern vom 4. November 2005 aufgehoben.
2. Es werden keine Gerichtskosten erhoben. Der von der Beschwerdeführerin geleistete Kostenvorschuss von Fr. 1100.- wird ihr zurückerstattet.
3. Die Ausgleichskasse des Kantons Bern hat der Beschwerdeführerin für das Verfahren vor dem Bundesgericht eine Parteientschädigung von Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Das Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, hat die Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses festzusetzen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 26. Januar 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: