Sachverhalt:
A. Mit Nachtragsverfügung vom 14. September 2005, bestätigt mit Einspracheentscheid vom 25. Oktober 2005, legte die Ausgleichskasse des Kantons Solothurn den AHV-Beitrag für den nicht erwerbstätigen S._ für die Zeit vom 1. bis 31. Januar 2004 auf Fr. 3'030.- nebst Verwaltungskosten von Fr. 90.90, insgesamt Fr. 3'120.90, fest.
B. Die von S._ dagegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Solothurn mit Entscheid vom 28. September 2006 gut, hob den Einspracheentscheid auf und wies die Akten an die Verwaltung zurück, damit diese den zu leistenden Beitrag auf Fr. 841.70 zuzüglich Verwaltungskosten festsetze.
C. Das Bundesamt für Sozialversicherungen (BSV) erhebt Verwaltungsgerichtsbeschwerde mit dem Antrag, der Entscheid des Versicherungsgerichts sei aufzuheben und der Einspracheentscheid zu bestätigen.
S._ lässt auf Abweisung der Beschwerde schliessen, die Ausgleichskasse des Kantons Solothurn auf deren Gutheissung.

Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. 2.1 Unbestritten ist der am ...1939 geborene Beschwerdegegner nicht erwerbstätig und gemäss <ref-law> nur bis Ende Januar 2004 beitragspflichtig. Nicht bestritten ist auch, dass er über kein Renteneinkommen, aber am 31. Dezember 2004 gemäss Steuermeldung über ein massgebendes Vermögen von rund 18,7 Mio. Franken verfügte. Streitig ist die Art und Weise der Beitragsbemessung bei dieser unterjährigen Beitragspflicht.
2.2 Die Ausgleichskasse hat das per 31. Dezember 2004 ermittelte Vermögen pro rata auf die Beitragsdauer von einem Monat umgerechnet, was einen Betrag von Fr. 1'562'242.- ergab, und davon gemäss <ref-law> den geschuldeten Beitrag errechnet. Sie stützte sich dabei auf die Rz. 2112 und 2114 der Wegleitung über die Beiträge der Selbstständigerwerbenden und Nichterwerbstätigen, WSN, in der per 1. Januar 2004 in Kraft gesetzten Fassung. Darauf beruft sich auch das beschwerdeführende Amt. Die Vorinstanz hat demgegenüber wie der Beschwerdegegner auf dem per 31. Dezember 2004 bestehenden Vermögen gemäss <ref-law> den Beitrag berechnet und diesen auf die nur einmonatige Beitragspflicht umgerechnet.
3. 3.1 Nichterwerbstätige bezahlen gemäss <ref-law> in der bezüglich des Mindestbeitrages hier massgebenden, gemäss Verordnung 03 über Anpassungen an die Lohn und Preisentwicklung bei der AHV/IV/ EO (SR 831.108) bis 31. Dezember 2004 gültig gewesenen Fassung je nach ihren sozialen Verhältnissen einen Beitrag von Fr. 353.- bis Fr. 8'400.- (vgl. demgegenüber die seit 1. Januar 2007 in Kraft stehende Verordnung 07 über Anpassungen an die Lohn und Preisentwicklung bei der AHV/IV/EO, die in Art. 2 Abs. 2 einen Mindestbeitrag von Fr. 370.- vorsieht). Der Bundesrat erlässt nähere Vorschriften über die Bemessung der Beiträge (<ref-law>). Gemäss <ref-law> bemessen sich die Beiträge der Nichterwerbstätigen auf Grund ihres Vermögens und Renteneinkommens. Dabei werden das Vermögen und das mit 20 multiplizierte jährliche Renteneinkommen addiert; auf der Summe wird gemäss der in <ref-law> enthaltenen Beitragstabelle der Jahresbeitrag ermittelt. Nach <ref-law> werden die Beiträge für jedes Beitragsjahr festgesetzt, wobei das Kalenderjahr als Beitragsjahr gilt. Die Beiträge bemessen sich auf Grund des im Beitragsjahr tatsächlich erzielten Renteneinkommens und des Vermögens am 31. Dezember (<ref-law>). Weder das Gesetz noch die Verordnung enthalten ausdrückliche Regeln über die Beitragsbemessung bei unterjähriger Beitragspflicht.
3.2 In dem bis Ende 2000 geltenden System der zweijährigen Vergangenheitsbemessung ermittelte sich auch das für die Beitragsbemessung massgebliche Renteneinkommen und Vermögen der Nichterwerbstätigen grundsätzlich nach dem zweit- und drittletzten Jahr vor der Beitragsperiode bzw. dem 1. Januar des Jahres vor der Beitragsperiode (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung). Nur wenn aus einer Vermögens- oder Einkommensveränderung ein um mindestens 25 % verminderter oder erhöhter Beitrag resultierte, wurden die Beiträge in sinngemässer Anwendung von <ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung im ausserordentlichen Verfahren ermittelt (<ref-ruling> E. 6b S. 428, 105 V 117, 119; Urteil H 299/97 vom 20. März 1998, E. 3a; Hanspeter Käser, Unterstellung und Beitragswesen in der obligatorischen AHV, 2. A. Bern 1996, S. 231 f.). Nach dem Übergang zur einjährigen Gegenwartsbemessung ab 1. Januar 2001 zogen die Ausgleichskassen gemäss der Darstellung des beschwerdeführenden Amtes zunächst bei unterjähriger Beitragspflicht nur noch das während der Dauer der Beitragspflicht tatsächlich angefallene Renteneinkommen heran, welches, multipliziert mit dem Faktor 20, zum Vermögen per 31. Dezember hinzugezählt wurde. Der Beitrag, der sich aus dieser Berechnungsgrundlage nach der Beitragstabelle ergab, wurde entsprechend der Dauer der Beitragspflicht pro rata erhoben. Das BSV führt aus, mit diesem Vorgehen sei in Bezug auf das Renteneinkommen die Unterjährigkeit doppelt berücksichtigt worden; deshalb sei mit der per 1. Januar 2004 in Kraft gesetzten Änderung der WSN die Berechnungspraxis geändert worden. Es werde nun nur von dem in den Monaten der Beitragspflicht angefallenen Renteneinkommen ausgegangen und daraus der Beitrag gemäss Beitragstabelle errechnet; auf eine pro-rata-Umrechnung dieses Beitrags werde verzichtet. Desgleichen werde auch das Vermögen anteilsmässig, im Verhältnis zu den Monaten der Beitragspflicht, zugrunde gelegt und darauf der Beitrag berechnet.
3.3 Die WSN ist eine Verwaltungsweisung des BSV und enthält als solche keine eigenen Rechtsregeln, sondern nur eine Konkretisierung und Umschreibung der gesetzlichen und verordnungsmässigen Bestimmungen. Es handelt sich hierbei um Vorgaben an die Vollzugsorgane der Versicherung über die Art und Weise, wie diese ihre Befugnisse auszuüben haben. Als solche stellen Verwaltungsweisungen den Standpunkt der Verwaltung über die Anwendung der Rechtsregeln dar und dienen im Rahmen der fachlichen Aufsicht des BSV (vgl. <ref-law> in Verbindung mit <ref-law>) einer einheitlichen Rechtsanwendung, um eine Gleichbehandlung der Versicherten, aber auch die verwaltungsmässige Praktikabilität zu gewährleisten. Deshalb richten sich solche Ausführungsvorschriften rechtsprechungsgemäss nur an die Durchführungsstellen; für das Sozialversicherungsgericht sind sie nicht verbindlich (<ref-ruling> E. 4.3.1 S. 172, 129 V 200 E. 3.2 S. 204 mit Hinweisen; ZAK 1987 S. 581, 1986 S. 235). Dies heisst indessen nicht, dass Verwaltungsweisungen für das Sozialversicherungsgericht unbeachtlich sind. Vielmehr soll das Gericht sie berücksichtigen, soweit sie eine dem Einzelfall angepasste und gerecht werdende Auslegung der anwendbaren gesetzlichen Bestimmungen zulassen. Das Gericht weicht also nicht ohne triftigen Grund von Verwaltungsweisungen ab, wenn diese eine überzeugende Konkretisierung der gesetzlichen und verordnungsmässigen Leistungsvoraussetzungen darstellen. Insofern wird dem Bestreben der Verwaltung, durch interne Weisungen eine rechtsgleiche Gesetzesanwendung zu gewährleisten, Rechnung getragen (<ref-ruling> E. 4.3.1 S. 172, 129 V 200 E. 3.2 S. 204, 127 V 57 E. 3a S. 61, 126 V 421 E. 5a S. 428, je mit Hinweisen).
3.4 Es liegt auf der Hand, dass die vom beschwerdeführenden Amt geschilderte Praxis, die ab 2001 offenbar zunächst angewendet wurde, in Bezug auf das Renteneinkommen falsch ist, weil sie die Unterjährigkeit doppelt berücksichtigt. Um diesen Mangel zu beheben, gibt es zwei Möglichkeiten: Entweder wird das während der unterjährigen Beitragspflicht erzielte Renteneinkommen auf ein Jahr umgerechnet, darauf der Beitrag gemäss Beitragstabelle errechnet und der so erzielte Beitrag wieder auf die Beitragsdauer umgerechnet. Oder es wird der Beitrag gemäss Beitragstabelle bloss auf dem während der Beitragspflicht erzielten Renteneinkommen errechnet. Das BSV hat in Rz. 2113 und 2114 WSN die zweite Vorgehensweise festgelegt. In der Beschwerde wird dies damit begründet, dass eine Umrechnung auf ein Jahr dem System der Gegenwartsbemessung fremd sei.
3.5 In Bezug auf das Vermögen ist allerdings eine Proratisierung der Bemessungsgrundlage systemfremd. Während für die Bemessung des Einkommens auf eine bestimmte Zeitdauer abgestellt wird, wird das Vermögen auf Grund seiner Höhe an einem bestimmten Stichtag bemessen (<ref-law>). Die Höhe des am Stichtag vorhandenen Vermögens steht - anders als die Höhe des Einkommens - nicht in Relation zu einer bestimmten Zeitdauer. Wird - wie das die Vorinstanz getan hat - das Vermögen per 31. Dezember als Grundlage genommen, davon der (Jahres)Beitrag berechnet und dieser auf die Dauer der unterjährigen Beitragspflicht umgerechnet, so wird die Unterjährigkeit nur einmal und nicht doppelt berücksichtigt.
3.6 Demgegenüber führt die Berechnungsweise des BSV zu einem gesetz- und verordnungswidrigen Ergebnis:
3.6.1 Gemäss <ref-law> muss einerseits der Beitrag der Nichterwerbstätigen nach deren sozialen Verhältnissen bemessen werden. Andererseits legt das Gesetz aber eine obere Grenze von Fr. 8'400.- pro Jahr fest (bzw. Fr. 10'300.- mit Einschluss der Beiträge an IV und EO, <ref-law> und <ref-law>), die auch bei sehr guten sozialen Verhältnissen nicht überschritten werden darf. Dieser Maximalbeitrag ist ab einem Vermögen von 4 Mio. Franken geschuldet (<ref-law>). Auch Personen, die - wie der Beschwerdegegner - ein weit höheres Vermögen haben, bezahlen nicht mehr als den gesetzlichen Maximalbetrag. Mit anderen Worten darf nach dem klaren Willen von Gesetz und Verordnung ein Vermögen von über 4 Mio. Franken keinen Einfluss mehr auf die Höhe der Beiträge haben.
3.6.2 Der gesetzliche Maximalbeitrag von Fr. 8'400.- gilt nach dem klaren Wortlaut des Gesetzes "pro Jahr" (frz. "par an", ital. "l'anno"). Dauert die Beitragspflicht nur während eines Teils des Jahres, so muss demzufolge auch der maximal geschuldete Beitrag von Fr. 8'400.- auf die unterjährige Beitragsdauer umgerechnet werden, weil sonst entgegen dem Gesetz der Maximalbeitrag nicht pro Jahr, sondern bereits für einen Bruchteil eines Jahres erhoben würde. Ein Berechnungsmodus, der dazu führt, dass bereits bei unterjähriger Beitragspflicht der gesetzliche Maximalbeitrag bezahlt wird, kann nicht gesetzmässig sein (vgl. analog auch für den Mindestbeitrag gemäss <ref-law> Urteil H 161/05 vom 6. Februar 2007, E. 5).
3.6.3 Das Vorgehen des BSV würde nun aber bei sehr guten wirtschaftlichen Verhältnissen dazu führen, dass bereits bei einer Beitragsdauer von wenigen Monaten der Beitrag geschuldet wäre, der nach dem Willen des Gesetzes für eine ganzjährige Beitragspflicht maximal bezahlt werden muss. Wer - wie der Beschwerdegegner - nur während eines Monats beitragspflichtig ist, würde bei einem Vermögen von 4 Mio. Franken einen Beitrag auf der Basis von Fr. 333'333.- schulden, also Fr. 420.-. Mit einem Vermögen von 48 Mio. Franken würde der Beitrag jedoch auf der Basis von Fr. 4'000'000.- berechnet und Fr. 8'400.- betragen. Entgegen dem Willen von Gesetz und Verordnung hätte also auch das Vermögen von über 4 Mio. Franken einen Einfluss auf die Höhe der Beiträge. Umgekehrt würde jemand, der mit einem Vermögen von 48 Mio. Franken während eines Monats beitragspflichtig ist, gleich viel Beiträge bezahlen wie jemand, der mit dem gleichen Vermögen während des ganzen Jahres beitragspflichtig ist, nämlich den Maximalbeitrag. Auch dieses Ergebnis widerspricht der gesetzlichen Regelung, welche den maximalen Jahresbeitrag auf Fr. 8'400.- pro Jahr (und nicht pro Bruchteil eines Jahres) festlegt.
3.6.4 An dieser gesetz- und verordnungswidrigen Konsequenz ändert sich nichts, wenn man - wie das BSV - davon ausgeht, dass die in der Beitragsskala enthaltene Regelung im Grunde nicht das Vermögen als solches, sondern den Vermögensertrag unter die Beitragspflicht stellen will. So oder so gilt der jährliche Maximalbeitrag, nachdem die in der 11. AHV-Revision vorgesehene Deplafonierung der Beiträge der Nichterwerbstätigen (BBl 2000 1996, 2039; BBl 2003 6631) in der Volksabstimmung vom 16. Mai 2004 abgelehnt wurde. Die von der Vorinstanz und vom Beschwerdegegner vertretene Auffassung erweist sich daher als richtig.
3.7 Es ist nicht ausgeschlossen, diese für das Vermögen zutreffende Bemessungsmethode mit der vom BSV angewendeten Methode für die Bemessung des Renteneinkommens zu kombinieren: In denjenigen Fällen, in denen sowohl Renteneinkommen als auch Vermögen vorliegt, müssten dann in gesonderten Schritten die Beiträge auf dem Vermögen (gemäss E. 3.6 hiervor) und auf dem Renteneinkommen (gemäss E. 3.4 hiervor, zweite Methode) ermittelt und zusammengezählt werden. Systemkonformer erschiene allerdings auch in Bezug auf das Renteneinkommen die Umrechnung des Einkommens auf ein Jahr mit anschliessender Umrechnung des Beitrags auf die unterjährige Beitragsdauer (gemäss E. 3.4 hiervor, erste Methode). Auch entspricht diese Methode besser als die vom BSV festgelegte dem Wortlaut von <ref-law>, wonach das "jährliche" Renteneinkommen (und nicht ein unterjähriges) mit 20 zu multiplizieren ist. Das BSV lehnt dieses Vorgehen ab, da die Umrechnung auf fiktive Jahreseinkommen der Gegenwartsbemessung grundsätzlich widerspreche. Das ist indessen zu präzisieren: Dem Grundgedanken der Gegenwartsbemessung (Beitragsfestsetzung auf Grund der aktuellen, tatsächlichen Verhältnisse) folgend sind die persönlichen Beiträge nur auf dem im betreffenden (weniger als zwölf Monate umfassenden) Zeitraum tatsächlich erzielten Einkommen zu erheben (AHI 2003 S. 69 E. 4b [Urteil H 420/01 vom 6. Mai 2002]). Das entspricht auch der steuerrechtlichen Regelung (<ref-law>), mit welcher das AHV-Recht soweit möglich und sinnvoll harmonisiert ist (vgl. auch AHI 2000 S. 110 f.). Indessen bestimmt sich im Steuerrecht der Steuersatz für regelmässig fliessende Einkünfte (typischerweise also auch für Renten; RICHNER/FREI/KAUFMANN, Handkommentar zum DBG, Zürich 2003, Rz. 11 zu Art. 209) nach dem auf 12 Monate berechneten Einkommen (<ref-law>). Für die Bestimmung des Steuersatzes werden also die während der unterjährigen Steuerpflicht erzielten Einkommen auf 12 Monate umgerechnet (Art. 2 Abs. 3 der Verordnung vom 16. September 1992 über die zeitliche Bemessung der direkten Bundessteuer bei natürlichen Personen [SR 642.117.1]). Eine Umrechnung auf 12 Monate ist somit dem System der Gegenwartsbemessung nicht grundsätzlich fremd. Sie findet im Steuerrecht zwar nicht für die Festlegung des steuerbaren Einkommens, wohl aber für die Bestimmung des Steuersatzes statt. Die Beitragstabelle gemäss <ref-law> regelt nicht das beitragspflichtige Einkommen, sondern die Bemessung des Beitrags und entspricht insoweit den steuerrechtlichen Regeln über die Festlegung des Steuersatzes. In Bezug auf das Einkommen der Selbstständigerwerbenden weicht freilich das AHV-Recht in dieser Hinsicht vom Steuerrecht ab: Während im Steuerrecht bei unterjähriger Steuerpflicht und unterjährigem Geschäftsjahr die Gewinne für die Satzbestimmung auf zwölf Monate umgerechnet werden (Art. 3 Abs. 3 Satz 2 der genannten Verordnung), bestimmt sich der AHV-Beitrag gemäss <ref-law> nach dem Ergebnis des im Beitragsjahr abgeschlossenen Geschäftsjahres, das auch bei unterjährigem Geschäftsjahr nicht auf zwölf Monate umgerechnet wird, da im AHV-Recht der Umrechnung eine weniger grosse Bedeutung zukommt als bei der Bundessteuer mit ihrer starken Progression (AHI-Praxis 2000 S. 111; vgl. Urteil H 50/06 vom 27. Dezember 2006, E. 4.4). Diese für Selbstständigerwerbende geltende Besonderheit des AHV-Rechts bedeutet jedoch nicht zwingend, dass auch für das Renteneinkommen der Nichterwerbstätigen eine Umrechnung nicht in Frage kommt.
3.8 Welche Methode für die Bemessung der Beiträge auf dem Renteneinkommen die richtige ist, braucht jedoch im vorliegenden Fall nicht entschieden zu werden, da der Beschwerdegegner nur Vermögen, aber kein Renteneinkommen hat. So oder so kann jedenfalls eine allfällige Unklarheit in Bezug auf die Bemessung des Renteneinkommens nicht rechtfertigen, in Bezug auf das Vermögen eine gesetz- und verordnungswidrige Bemessungsmethode anzuwenden.
4. Es sind keine Gerichtskosten zu erheben (Art. 156 Abs. 2 OG). Das unterliegende Amt hat jedoch dem obsiegenden Beschwerdegegner die Parteikosten zu ersetzen (Art. 159 OG).

Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Es werden keine Gerichtskosten erhoben.
3. Das beschwerdeführende Amt hat dem Beschwerdegegner für das Verfahren vor dem Bundesgericht eine Parteientschädigung von Fr. 2'000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Solothurn und der Ausgleichskasse des Kantons Solothurn zugestellt.
Luzern, 6. Juni 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin: