Sachverhalt:
Sachverhalt:
A. Mit Verfügungen vom 9. Dezember 2002 verpflichtete die Ausgleichskasse Nidwalden F._ zur Entrichtung von AHV/IV/EO-Beiträgen (einschliesslich Verwaltungskosten) als Selbstständigerwerbender im Nebenerwerb in Höhe von Fr. 1185.60 für das Jahr 1997, Fr. 1207.80 für das Jahr 1998, Fr. 1230.- für das Jahr 1999 und Fr. 1303.80 für das Jahr 2000. Zudem wurden mit separaten Verfügungen Verzugszinsen erhoben.
A. Mit Verfügungen vom 9. Dezember 2002 verpflichtete die Ausgleichskasse Nidwalden F._ zur Entrichtung von AHV/IV/EO-Beiträgen (einschliesslich Verwaltungskosten) als Selbstständigerwerbender im Nebenerwerb in Höhe von Fr. 1185.60 für das Jahr 1997, Fr. 1207.80 für das Jahr 1998, Fr. 1230.- für das Jahr 1999 und Fr. 1303.80 für das Jahr 2000. Zudem wurden mit separaten Verfügungen Verzugszinsen erhoben.
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Nidwalden ab (Entscheid vom 13. Oktober 2003, versandt am 27. April 2004).
B. Die dagegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Nidwalden ab (Entscheid vom 13. Oktober 2003, versandt am 27. April 2004).
C. Mit Verwaltungsgerichtsbeschwerde stellt F._ die Rechtsbegehren, es sei festzustellen, dass für die Jahre 1995 bis 2000 kein AHV-pflichtiges Nebeneinkommen als Selbstständigerwerbender bestehe; eventuell sei die Sache zur Neubeurteilung an die Vorinstanzen zurückzuweisen. Ausserdem wird die Feststellung verlangt, dass die Aufnahme der selbstständigen Nebenerwerbstätigkeit eigentlich ab 1991, spätestens ab dem 1. Januar 1995, erfolgt sei.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Gemäss Art. 128 OG beurteilt das Eidgenössische Versicherungsgericht letztinstanzlich Verwaltungsgerichtsbeschwerden gegen Verfügungen auf dem Gebiete der Sozialversicherung. Gegenstand des vorliegenden Verfahrens bildet der kantonale Entscheid über die Beitrags- und Verzugszinsverfügungen betreffend das Einkommen aus selbstständiger Nebenerwerbstätigkeit in den Jahren 1997 bis 2000. Soweit der Beschwerdeführer darüber hinaus verlangt, es sei festzustellen, dass die Aufnahme der selbstständigen Nebenerwerbstätigkeit eigentlich bereits im Jahr 1991, spätestens jedoch am 1. Januar 1995 erfolgt sei, kann auf die Verwaltungsgerichtsbeschwerde nicht eingetreten werden.
1. Gemäss Art. 128 OG beurteilt das Eidgenössische Versicherungsgericht letztinstanzlich Verwaltungsgerichtsbeschwerden gegen Verfügungen auf dem Gebiete der Sozialversicherung. Gegenstand des vorliegenden Verfahrens bildet der kantonale Entscheid über die Beitrags- und Verzugszinsverfügungen betreffend das Einkommen aus selbstständiger Nebenerwerbstätigkeit in den Jahren 1997 bis 2000. Soweit der Beschwerdeführer darüber hinaus verlangt, es sei festzustellen, dass die Aufnahme der selbstständigen Nebenerwerbstätigkeit eigentlich bereits im Jahr 1991, spätestens jedoch am 1. Januar 1995 erfolgt sei, kann auf die Verwaltungsgerichtsbeschwerde nicht eingetreten werden.
2. 2.1 Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.2 Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (BGE 121 II 99 Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen).
2.2 Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (BGE 121 II 99 Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen).
3. Streitig und zu prüfen sind - dem Grundsatz und gegebenenfalls der Höhe nach - die vom Beschwerdeführer für die Jahre 1997 bis 2000 zu entrichtenden Beiträge auf Einkommen aus selbstständiger Nebenerwerbstätigkeit. Massgebend ist demnach die während dieses Zeitraums geltenden Regelung. Relevant sind insbesondere die Art. 17 ff. AHVV in der bis 31. Dezember 2000 gültig gewesenen Fassung. Danach sind die Beiträge vom reinen Einkommen aus selbstständiger Erwerbstätigkeit in der Regel für eine mit dem geraden Kalenderjahr beginnende Beitragsperiode von zwei Jahren festzusetzen (Art. 22 Abs. 1 AHVV). Der Jahresbeitrag wird dabei auf Grund des durchschnittlichen Erwerbseinkommens einer zweijährigen Berechnungsperiode bemessen, welche das zweit- und drittletzte Jahr vor der Beitragsperiode umfasst (Art. 22 Abs. 2 AHVV). In Abweichung davon sind die Beiträge unter anderem dann im ausserordentlichen Verfahren zu ermitteln, wenn der Beitragspflichtige eine selbstständige Erwerbstätigkeit aufnimmt oder wenn sich die Einkommensgrundlagen zufolge Hinzutritts einer Einkommensquelle dauerhaft verändert haben und dadurch die Höhe des Einkommens wesentlich beeinflusst wurde (Art. 25 Abs. 1 AHVV). Diesfalls sind die Beiträge bis zur nächsten ordentlichen Beitragsperiode (vgl. Art. 25 Abs. 1 AHVV am Ende) für jedes Kalenderjahr auf Grund des jeweiligen Jahreseinkommens festzusetzen. Für das Vorjahr der nächsten ordentlichen Beitragsperiode werden die Beiträge auf Grund des reinen Erwerbseinkommens festgesetzt, das der Beitragsbemessung für diese Periode zu Grunde zu legen ist (Art. 25 Abs. 3 AHVV). Die Angaben der kantonalen Steuerbehörden sind für die Ausgleichskassen verbindlich (Art. 23 Abs. 4 AHVV).
3. Streitig und zu prüfen sind - dem Grundsatz und gegebenenfalls der Höhe nach - die vom Beschwerdeführer für die Jahre 1997 bis 2000 zu entrichtenden Beiträge auf Einkommen aus selbstständiger Nebenerwerbstätigkeit. Massgebend ist demnach die während dieses Zeitraums geltenden Regelung. Relevant sind insbesondere die Art. 17 ff. AHVV in der bis 31. Dezember 2000 gültig gewesenen Fassung. Danach sind die Beiträge vom reinen Einkommen aus selbstständiger Erwerbstätigkeit in der Regel für eine mit dem geraden Kalenderjahr beginnende Beitragsperiode von zwei Jahren festzusetzen (Art. 22 Abs. 1 AHVV). Der Jahresbeitrag wird dabei auf Grund des durchschnittlichen Erwerbseinkommens einer zweijährigen Berechnungsperiode bemessen, welche das zweit- und drittletzte Jahr vor der Beitragsperiode umfasst (Art. 22 Abs. 2 AHVV). In Abweichung davon sind die Beiträge unter anderem dann im ausserordentlichen Verfahren zu ermitteln, wenn der Beitragspflichtige eine selbstständige Erwerbstätigkeit aufnimmt oder wenn sich die Einkommensgrundlagen zufolge Hinzutritts einer Einkommensquelle dauerhaft verändert haben und dadurch die Höhe des Einkommens wesentlich beeinflusst wurde (Art. 25 Abs. 1 AHVV). Diesfalls sind die Beiträge bis zur nächsten ordentlichen Beitragsperiode (vgl. Art. 25 Abs. 1 AHVV am Ende) für jedes Kalenderjahr auf Grund des jeweiligen Jahreseinkommens festzusetzen. Für das Vorjahr der nächsten ordentlichen Beitragsperiode werden die Beiträge auf Grund des reinen Erwerbseinkommens festgesetzt, das der Beitragsbemessung für diese Periode zu Grunde zu legen ist (Art. 25 Abs. 3 AHVV). Die Angaben der kantonalen Steuerbehörden sind für die Ausgleichskassen verbindlich (Art. 23 Abs. 4 AHVV).
4. 4.1 Das kantonale Gericht hat mit ausführlicher und zutreffender Begründung dargelegt, dass ab 1997 von einer regelmässig ausgeübten selbstständigen Nebenerwerbstätigkeit auszugehen ist und die Voraussetzungen einer Bemessung der entsprechenden Beiträge im ausserordentlichen Verfahren (Art. 25 Abs. 1 AHVV; BGE 106 V 76 Erw. 3a; ZAK 1992 S. 474 Erw. 2 mit Hinweisen) erfüllt sind. Auf die entsprechenden Erwägungen der Vorinstanz kann vollumfänglich verwiesen werden.
4.2 Der Eintritt eines (AHV-beitragsrechtlichen) Zwischenveranlagungsgrundes im Jahr 1997 hat zur Folge, dass die Beiträge auf dem Einkommen aus selbstständiger Erwerbstätigkeit bis zum Beginn der nächsten ordentlichen Beitragsperiode am 1. Januar 2000 (vgl. BGE 113 V 177 Erw. 1 mit Hinweisen) im ausserordentlichen Verfahren ermittelt werden (Art. 25 Abs. 1 AHVV), wobei diejenigen der Jahre 1997 und 1998 auf Grund des im jeweiligen Kalenderjahr erzielten Einkommens festzusetzen sind (Art. 25 Abs. 3 AHVV). Die Beiträge der Jahre 1999 und 2000 (als Vorjahr bzw. erstes Jahr der nächsten ordentlichen Beitragsperiode) bemessen sich gemäss Art. 25 Abs. 3 in Verbindung mit Art. 22 Abs. 1 und 2 AHVV prinzipiell nach Massgabe des durchschnittlichen reinen Erwerbseinkommens der Jahre 1997 und 1998.
4.3 Das den streitigen Beitragsverfügungen zu Grunde gelegte Einkommen des Jahres 1997 von Fr. 25'909.- stimmt mit den Angaben in der Steuermeldung vom 21. November 2002 überein, welche für die Ausgleichskasse prinzipiell verbindlich sind (Art. 23 Abs. 4 AHVV; BGE 122 V 291). Wie das kantonale Gericht zutreffend festgehalten hat, können Geschäftsverluste im AHV-Beitragsrecht nur innerhalb der Beitragsperiode verrechnet werden (ZAK 1988 S. 452 f. Erw. 6; Urteile R. vom 4. Dezember 2003 [H 255/03] und K. vom 2. September 2003 [H 187/03]). Die Berücksichtigung von in den Jahren 1995 und 1996 eingetretenen Verlusten scheidet daher aus. Ausgehend vom erwähnten Betrag von Fr. 25'909.- sowie nach Abzug des Zinses auf dem im Betrieb investierten Eigenkapital (Art. 9 Abs. 2 lit. e AHVG in Verbindung mit Art. 18 Abs. 2 AHVV) ergibt sich das in der Beitragsverfügung für 1997 enthaltene Einkommen von Fr. 21'000.-. Die in den Steuererklärungen vorgenommenen Abzüge betreffen gemäss den verbindlichen (Erw. 2.1 hievor) Feststellungen der Vorinstanz Einkünfte aus unselbstständiger Erwerbstätigkeit (Verwaltungsratshonorare) und sind daher im vorliegenden Zusammenhang nicht zu berücksichtigen.
4.4 Das Einkommen des Jahres 1998 bezifferte die Ausgleichskasse, ebenfalls gestützt auf die Steuermeldung vom 21. November 2002, mit Fr. 25'183.-. Dieser Betrag setzt sich zusammen aus einem anerkannten Betreffnis von Fr. 18'175.- und einer Summe von Fr. 7008.-, deren Berechtigung der Beschwerdeführer bestreitet. Die Vorinstanz hat auch für dieses Jahr verbindlich festgestellt, dass der in der Steuererklärung vorgenommene Unkostenabzug andere Einkommensbestandteile betraf.
Aus der Abrechnung der Firma I._ AG (heute firmierend als M._ AG) vom 21. Dezember 1998 ist ersichtlich, dass dem Beschwerdeführer ein Honorar "Reorganisation Konzernstruktur" ausbezahlt wurde, wobei die Firma angab, vom Bruttobetrag von Fr. 7500.- Sozialversicherungsbeiträge in Abzug gebracht zu haben. Die Summe von Fr. 7008.- stimmt mit dem verbleibenden Nettolohn überein. Damit erscheint es in der Tat als möglich, dass der Beschwerdeführer diesen Betrag in der Steuererklärung zu Unrecht als selbstständiges Nebenerwerbseinkommen angegeben hat. Er hat es jedoch während des gesamten Verfahrens unterlassen, Belege dafür beizubringen, dass die umstrittene Zahlung im Einkommen aus unselbstständiger Tätigkeit enthalten ist, welches in der Steuererklärung deklariert wurde (letztinstanzlich sind entsprechende Vorbringen nicht mehr zulässig, vgl. Erw. 2.2 hievor). Dies versteht sich keineswegs von selbst; denn der Sache nach dürfte es sich um Einkünfte aus selbstständiger Tätigkeit gehandelt haben, welche über den Rahmen des Verwaltungsratsmandates hinaus gingen. So macht der Beschwerdeführer selbst geltend, es habe sich bei der Reorganisation der Konzernstruktur M._ um eine aufwändige, einmalige Tätigkeit gehandelt, die er nicht im Rahmen seines ordentlichen Engagements als Verwaltungsrat habe wahrnehmen können. Es seien zahlreiche Sitzungen und mehrere Vorsprachen notwendig gewesen. Die entsprechenden Arbeiten, welche ohne weiteres auch durch einen unabhängigen Berater hätten erledigt werden können, standen demnach nicht in direktem Zusammenhang mit dem Verwaltungsratsmandat. Die Behandlung der entsprechenden Bezüge als Einkommen aus selbstständiger Erwerbstätigkeit liegt daher nahe. Unter diesen Umständen ist nicht zu beanstanden, dass die Vorinstanz die entsprechenden Angaben der Steuermeldung übernommen und die umstrittenen Einkünfte in dieser Weise qualifiziert hat. Im Übrigen wäre selbst eine gegenteilige steuerrechtliche Behandlungsweise für die Ausgleichskasse nicht verbindlich (BGE 122 V 293 Erw. 5a mit Hinweis). In masslicher Hinsicht war die Ausgleichskasse dagegen gemäss Art. 23 Abs. 4 AHVV an den in der Steuermeldung genannten Betrag von Fr. 7008.- gebunden. Damit ergibt sich unter Berücksichtigung der zusätzlichen Einkünfte von Fr. 18'175.- sowie nach Abzug des Zinses auf dem im Betrieb investierten Eigenkapital ein reines Einkommen des Jahres 1998 von Fr. 21'400.-.
4.5 Das der Beitragsbemessung für die Jahre 1999 und 2000 zu Grunde zu legende Einkommen berechnet sich nach dem Gesagten aus dem Durchschnitt der Erwerbseinkommen von 1997 und 1998, von welchem der jeweilige Zins auf dem investierten Eigenkapital in Abzug zu bringen ist. Die Berechnung der Beiträge ist auf dieser Basis unbestrittenermassen korrekt erfolgt. Gleiches gilt hinsichtlich der nicht beanstandeten Zinsberechnungen.
4.5 Das der Beitragsbemessung für die Jahre 1999 und 2000 zu Grunde zu legende Einkommen berechnet sich nach dem Gesagten aus dem Durchschnitt der Erwerbseinkommen von 1997 und 1998, von welchem der jeweilige Zins auf dem investierten Eigenkapital in Abzug zu bringen ist. Die Berechnung der Beiträge ist auf dieser Basis unbestrittenermassen korrekt erfolgt. Gleiches gilt hinsichtlich der nicht beanstandeten Zinsberechnungen.
5. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Die Gerichtskosten sind dem Beschwerdeführer aufzuerlegen (Art. 135 in Verbindung mit Art. 156 Abs. 1 OG).
Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 1000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden, Abteilung Versicherungsgericht, und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 18. November 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Der Vorsitzende der IV. Kammer: Der Gerichtsschreiber: