Sachverhalt:
A. W._ ist unbeschränkt haftender Gesellschafter/Teilhaber der seit dem 17. Oktober 2002 tätigen Kommanditgesellschaft X._ & Cie; diese bezweckt die Produktion von und den Handel mit Weinen, Spirituosen und anderen landwirtschaftlichen Produkten und Lebensmitteln, die Führung eines Restaurants und Beherbergung von Gästen; die Durchführung von Seminarien sowie die Organisation von Reisen und Vermietung von Fahrzeugen. Am 17. März 2003 reichte er der Ausgleichskasse Nidwalden den "Fragebogen für Selbstständigerwerbende + Personengesellschaften" ein, in dem er ein im Betrieb investiertes eigenes Kapital von Fr. 40'000.- und ein mutmassliches Reineinkommen für die ersten 12 Monate von Fr. 0.- deklarierte. Die Ausgleichskasse erfasste ihn als selbstständig Erwerbenden und erhob von ihm mit rechtskräftigen Verfügungen vom 2. Mai 2005, 25. Juli 2005 und 27. Dezember 2005 Beiträge (inkl. Verwaltungskosten) für Selbstständigerwerbende von Fr. 401.70 für das Jahr 2002 und je Fr. 437.60 für die Jahre 2003 und 2004. Am 3. April 2006 stellte sie ihm für die Jahre 2003 bis 2006 Beitragsverfügungen für Selbstständigerwerbende zu, in denen sie ihn für die betreffenden Jahre als beitragsfrei bezeichnete, und zusätzlich für die gleichen Jahre Beitragsverfügungen für Nichterwerbstätige, mit denen sie jeweils einen auf Grund des Reinvermögens bemessenen jährlichen Beitrag (inkl. Verwaltungskosten) von Fr. 10'403.- einforderte. Die von W._ erhobene Einsprache mit der Forderung, er sei nicht als Nichterwerbstätiger, sondern als Selbstständigerwerbender zu erfassen, wies die Ausgleichskasse mit Entscheid vom 28. Juli 2006 im Wesentlichen mit der Begründung ab, der Versicherte sei nicht als nach der bundesrechtlichen Definition dauernd voll erwerbstätige Person zu betrachten und erfülle das Erfordernis nicht, dass die Beiträge aus Erwerbstätigkeit zumindest mehr als die Hälfte des Nichterwerbstätigenbeitrages ausmachen, weshalb er beitragsrechtlich als Nichterwerbstätiger zu behandeln sei.
B. Die vom Versicherten gegen den Entscheid erhobene Beschwerde mit dem Antrag, er sei für die Jahre 2003 bis 2006 als selbstständig Erwerbender zu qualifizieren und habe deshalb (mangels Einkommen) lediglich den doppelten Mindestbeitrag zu bezahlen, hiess das Verwaltungsgericht des Kantons Nidwalden teilweise gut; es hob den Einspracheentscheid insoweit auf, als W._ damit für die Jahre 2005 und 2006 als Nichterwerbstätiger qualifiziert wurde, und es stellte fest, der Versicherte sei für die Jahre 2005 und 2006 als Selbstständigerwerbender zu erfassen (Entscheid vom 23. April 2007).
C. W._ führt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt, der vorinstanzliche Entscheid sei insoweit aufzuheben, als die vorinstanzlich gestellten Anträge nicht gutgeheissen worden seien; er sei auch für die Jahre 2003 und 2004 als Selbstständigerwerbender zu qualifizieren und habe mangels steuerbarem Einkommen für diese Jahre den doppelten Mindestbeitrag von Fr. 850.- zu entrichten.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Vorinstanz und Bundesamt für Sozialversicherungen verzichten auf Vernehmlassung.

Erwägungen:
1. Feststellungen der Vorinstanz hinsichtlich Umfang und Dauer einer Arbeitstätigkeit betreffen Tatfragen, soweit sie auf der Würdigung konkreter Umstände beruhen. Das Bundesgericht legt seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (<ref-law>). Es kann die Sachverhaltsfeststellung nur berichtigen oder ergänzen, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law>). Überdies muss die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein (<ref-law>).
2. Nichterwerbstätige bezahlen je nach ihren sozialen Verhältnissen einen Beitrag von 324 (seit 1. Januar 2007: 370) bis 8400 Franken pro Jahr (Art. 10 Abs. 1 erster Satz AHVG). Die Beiträge der Nichterwerbstätigen, für die nicht der jährliche Mindestbeitrag (<ref-law>) vorgesehen ist, bemessen sich auf Grund ihres Vermögens und Renteneinkommens (Art. 28 Abs. 1 erster Satz AHVV). Personen, die nicht dauernd voll erwerbstätig sind, leisten die Beiträge wie Nichterwerbstätige, wenn ihre Beiträge vom Erwerbseinkommen zusammen mit denen ihres Arbeitgebers in einem Kalenderjahr nicht mindestens der Hälfte des Beitrages nach Artikel 28 entsprechen (Art. 28bis Abs. 1 erster Satz AHVV). Nach der Verwaltungspraxis gilt die Erwerbstätigkeit als nicht dauernd, die während weniger als neun Monaten im Kalenderjahr ausgeübt wird. Als nicht voll erwerbstätig gelten Versicherte, die nicht während mindestens der halben üblichen Arbeitszeit tätig sind (Rz. 2035 und 2039 der Wegleitung über die Beiträge der Selbstständigerwerbenden und Nichterwerbstätigen in der AHV, IV und EO [WSN] in der seit 1. Januar 2004 geltenden Fassung). Nach der Rechtsprechung fällt die in der AHVV nicht näher umschriebene Voraussetzung für die Erhebung von Nichterwerbstätigenbeiträge der nicht dauernd voll Erwerbstätigen im Sinne von Art. 10 Abs. 1 dritter Satz AHVG gemäss Rz. 2035 und 2039 WSN weder aus dem gesetzlichen Rahmen noch widerspricht sie dem Normzweck (Urteil vom 6. Februar 2007 [H 29/06] E. 5.2).
3. Wie Verwaltung und Vorinstanz zu Recht erwägen, genügt es für die Qualifikation als selbstständig erwerbende Person für sich alleine noch nicht, dass der Beitragspflichtige subjektiv eine Erwerbsabsicht für sich in Anspruch nimmt. Die behauptete persönliche Absicht muss auf Grund konkreter wirtschaftlicher Tatsachen, wie sie für selbstständige Erwerbstätigkeit kennzeichnend sind, auch nachgewiesen sein (<ref-ruling> E. 9 S. 170 mit Hinweisen; ZAK 1987 S. 418 Erw. 3c). Der Beginn selbstständiger Erwerbstätigkeit ist unter Umständen nicht leicht festzustellen. Immerhin kann gesagt werden, dass selbstständige Erwerbstätigkeit jedenfalls dann vorliegt, wenn sie als solche im Wirtschaftsverkehr wahrnehmbar wird. Unter diesem Blickwinkel ist es relevant, ob ein Beitragspflichtiger im Hinblick auf die Erzielung von Erwerbseinkommen Arbeit geleistet, ein eigenes Büro eröffnet, Personal angestellt und Investitionen getätigt hat (<ref-ruling> E. 10 S. 172).
4. Im Rahmen einer erstmaligen Beitragsveranlagung wäre die vorinstanzliche Sachverhaltsfeststellung, der Beschwerdeführer sei in den Jahren 2003 und 2004 nicht mindestens halbzeitig beschäftigt gewesen, nicht offensichtlich unrichtig. Hier geht es aber - was die Vorinstanz übersehen hat - um eine Wiedererwägung, nachdem die Ausgleichskasse den Beschwerdeführer zunächst rechtskräftig als Selbstständigerwerbenden veranlagt hatte. Es müsste darum dargelegt werden, dass die ursprüngliche Veranlagung zweifellos unrichtig war (<ref-law>). Die Vorinstanz hat sich dazu nicht geäussert und damit den Sachverhalt unvollständig festgestellt, sodass das Bundesgericht selber den Sachverhalt frei feststellen kann (<ref-law>). Der sinngemäss geltend gemachte Wiedererwägungsgrund liegt nicht in einer falschen Rechtsanwendung, was in der Regel zur zweifellosen Unrichtigkeit führen würde, sondern im Bereich von Sachverhaltsfragen, deren Beurteilung Ermessenszüge aufweist; erscheint die Beurteilung solcher Aspekte als vertretbar, scheidet die Annahme zweifelloser Unrichtigkeit aus (Urteil vom 10. Oktober 2007 [9C_575/2007] E. 2.2 mit Hinweisen). Mit den vorinstanzlich eingelegten Unterlagen und den dazu gemachten Ausführungen hat der Versicherte plausibel dargelegt, dass er nicht nur in den letzten zwei der vier von der Beitragskorrektur betroffenen Jahren bedeutende Umtriebe im Hinblick auf den Beginn der Geschäftstätigkeit auf sich genommen hat und er bereits 2003 und 2004 mehrheitlich für sein Weingut arbeitete. Dass retrospektiv in diesen Jahren ein Verlust resultierte, kann nicht ausschlaggebend sein (AHI 2003 S. 416 [Urteil vom 16. Juli 2003, H 2/02, E. 5.3]). Auch die Steuerbehörden haben den Beschwerdeführer als Selbstständigerwerbenden betrachtet. Die den ursprünglichen Verfügungen zugrunde liegende Annahme einer vollen Erwerbstätigkeit im Sinne von <ref-law> ist insgesamt vertretbar, weshalb eine Wiedererwägung nicht zulässig ist (vgl. auch Urteil vom 14. September 1999 [H 64/98] E. 5c). Es ist auch kein Revisionsgrund (<ref-law>) ersichtlich: Die Beschwerdegegnerin hat die neue Verfügung erlassen, nachdem sie festgestellt hat, dass der Beschwerdeführer über ein hohes Vermögen verfügt. Das ist aber einzig von Bedeutung für die Höhe der nach Art. 28bis Abs. 1 in Verbindung mit <ref-law> bei nicht voller Erwerbstätigkeit geschuldeten Beiträge, betrifft jedoch nicht die hier rechtserhebliche Tatfrage, ob im betreffenden Zeitraum eine volle Erwerbstätigkeit vorlag. Nach dem Gesagten war die Beschwerdegegnerin nicht befugt, mit Verfügungen vom 3. April 2006 eine neue beitragsrechtliche Qualifikation vorzunehmen und höhere Beiträge nachzuverlangen. Die nachträglichen Verfügungen vom 3. April 2006 sind zu Unrecht ergangen. Damit richtet sich die Beitragshöhe für die Jahre 2003 und 2004 nach den ursprünglichen Verfügungen vom 25. Juli 2005 bzw. 27. Dezember 2005. Dass der Beschwerdeführer in der Beschwerde an das Bundesgericht den Antrag stellt, es sei der doppelte Mindestbeitrag zu erheben, steht dieser Konsequenz trotz <ref-law> nicht entgegen.
5. Die Gerichtskosten werden der Beschwerdegegnerin als unterliegender Partei auferlegt (<ref-law>), die zudem dem Beschwerdeführer eine Parteientschädigung auszurichten hat (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird gutgeheissen. Der Entscheid des Verwaltungsgerichts des Kantons Nidwalden vom 23. April 2007 wird aufgehoben, soweit darin die Beschwerde abgewiesen wurde. Es wird festgestellt, dass der Beschwerdeführer für die Jahre 2003 und 2004 Beiträge von je Fr. 437.60 (inkl. Verwaltungskosten) schuldet.
2. Die Gerichtskosten von Fr. 1800.- werden der Beschwerdegegnerin auferlegt.
3. Die Beschwerdegegnerin hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2500.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Verwaltungsgericht des Kantons Nidwalden zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 6. Juni 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Schmutz