Sachverhalt:
Sachverhalt:
A. Mit Verfügungen vom 31. Juli 2001 verpflichtete die Ausgleichskasse des Kantons Bern Z._ zur Entrichtung von AHV/IV/EO-Beiträgen (einschliesslich Verwaltungskosten) als Selbstständigerwerbender im Nebenerwerb in Höhe von Fr. 408.35 für das Jahr 1996, je Fr. 1'274.30 für die Jahre 1997 bis 1999 und Fr. 408.35 für das Jahr 2000. Zudem wurden Verzugszinsen von Fr. 253.88 für die Jahre 1996 bis 1999 und Fr. 135.30 für das Jahr 2000, total Fr. 389.20, erhoben.
A. Mit Verfügungen vom 31. Juli 2001 verpflichtete die Ausgleichskasse des Kantons Bern Z._ zur Entrichtung von AHV/IV/EO-Beiträgen (einschliesslich Verwaltungskosten) als Selbstständigerwerbender im Nebenerwerb in Höhe von Fr. 408.35 für das Jahr 1996, je Fr. 1'274.30 für die Jahre 1997 bis 1999 und Fr. 408.35 für das Jahr 2000. Zudem wurden Verzugszinsen von Fr. 253.88 für die Jahre 1996 bis 1999 und Fr. 135.30 für das Jahr 2000, total Fr. 389.20, erhoben.
B. Nachdem Z._ dagegen Beschwerde erhoben hatte, hob die Kasse die Verwaltungsakte vom 31. Juli 2001 wiedererwägungsweise auf und ersetzte sie durch neue Verfügungen vom 23. Oktober 2001. Danach belaufen sich die umstrittenen Beiträge (inklusive Verwaltungskosten) neu auf Fr. 399.75 für das Jahr 1996, je Fr. 1162.35 für die Jahre 1997 bis 1999 und Fr. 399.75 für das Jahr 2000, die Verzugszinsen auf Fr. 407.05 (Fr. 233.21 plus Fr. 173.85).
Das Verwaltungsgerichts des Kantons Bern wies die Beschwerde, die aufrechterhalten worden war, ab, soweit sie nicht durch die während des Beschwerdeverfahrens erfolgte Aufhebung und Ersetzung der ursprünglichen Verfügungen vom 31. Juli 2001 gegenstandslos geworden war (Entscheid vom 18. Dezember 2003).
Das Verwaltungsgerichts des Kantons Bern wies die Beschwerde, die aufrechterhalten worden war, ab, soweit sie nicht durch die während des Beschwerdeverfahrens erfolgte Aufhebung und Ersetzung der ursprünglichen Verfügungen vom 31. Juli 2001 gegenstandslos geworden war (Entscheid vom 18. Dezember 2003).
C. Mit Verwaltungsgerichtsbeschwerde beantragt Z._, die Beiträge auf dem von ihm im Jahr 1999 vereinnahmten Einkommen aus selbstständigem Nebenerwerb seien auf Grund einer Gegenwartsbemessung festzusetzen.
Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1.2 Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Tatsachen und Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen)
1.2 Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Tatsachen und Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen)
2. Das kantonale Gericht hat die bis 31. Dezember 2000 gültig gewesenen, hier anwendbaren Bestimmungen und Grundsätze über die zeitliche Bemessung der Beiträge vom Einkommen aus selbstständiger Erwerbstätigkeit im ordentlichen Verfahren (Art. 22 Abs. 1 und 2 AHVV), mit Einschluss der Bestimmung zur nebenberuflichen, gelegentlich ausgeübten selbstständigen Erwerbstätigkeit (<ref-law>), sowie im ausserordentlichen Verfahren (<ref-law>) zutreffend dargelegt. Richtig sind auch die vorinstanzlichen Erwägungen zu den Rechtsgrundlagen für die Erhebung von Verzugszinsen (<ref-law>), zur Befugnis der Verwaltung, während des gerichtlichen Rechtsmittelverfahrens (lite pendente) auf die ursprüngliche Verfügung zurückzukommen, und zu den Auswirkungen dieses Vorgehens auf das Gerichtsverfahren (<ref-ruling>; ZAK 1992 S. 117 Erw. 5a), sowie zur Nichtanwendbarkeit der materiellrechtlichen Bestimmungen des am 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG; <ref-ruling> Erw. 1.2, 169 Erw. 1, 356 Erw. 1). Darauf wird verwiesen.
2. Das kantonale Gericht hat die bis 31. Dezember 2000 gültig gewesenen, hier anwendbaren Bestimmungen und Grundsätze über die zeitliche Bemessung der Beiträge vom Einkommen aus selbstständiger Erwerbstätigkeit im ordentlichen Verfahren (Art. 22 Abs. 1 und 2 AHVV), mit Einschluss der Bestimmung zur nebenberuflichen, gelegentlich ausgeübten selbstständigen Erwerbstätigkeit (<ref-law>), sowie im ausserordentlichen Verfahren (<ref-law>) zutreffend dargelegt. Richtig sind auch die vorinstanzlichen Erwägungen zu den Rechtsgrundlagen für die Erhebung von Verzugszinsen (<ref-law>), zur Befugnis der Verwaltung, während des gerichtlichen Rechtsmittelverfahrens (lite pendente) auf die ursprüngliche Verfügung zurückzukommen, und zu den Auswirkungen dieses Vorgehens auf das Gerichtsverfahren (<ref-ruling>; ZAK 1992 S. 117 Erw. 5a), sowie zur Nichtanwendbarkeit der materiellrechtlichen Bestimmungen des am 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG; <ref-ruling> Erw. 1.2, 169 Erw. 1, 356 Erw. 1). Darauf wird verwiesen.
3. Das kantonale Gericht erachtete es als erwiesen, dass der Beschwerdeführer aus einer seit 1993 ausgeübten selbstständigen Nebenerwerbstätigkeit Einkommen von Fr. 9868.- im Jahr 1993, Fr. 5747.- im Jahr 1994, Fr. 35'068.- im Jahr 1995 sowie je Fr. 6399.- in den Jahren 1996 bis 1998 erzielt hat.
3.1 Die genannten Beträge für die Jahre 1993, 1994 und (im Umfang von Fr. 28'669.-) 1995 beruhen auf Steuermeldungen im Sinne von Art. 23 Abs. 1 und 4 AHVV, sind unbestritten und bildeten bereits die Grundlage der Beitragsberechnungen für die jeweiligen Kalenderjahre.
3.2 Die in den vorinstanzlich bestätigten Verfügungen vom 23. Oktober 2001 enthaltenen Einkommen der Jahre 1995 (soweit Fr. 28'669.- übersteigend) bis 1998 resultieren im Wesentlichen aus der Aufteilung eines dem Beschwerdeführer im Jahr 1999 ausbezahlten Betrags von Fr. 31'510.-. Dieser Summe liegt der folgende Sachverhalt zu Grunde: Anlässlich einer am 5. April 2001 durchgeführten Arbeitgeberkontrolle bei der Firma M._ AG wurde festgestellt, dass im Jahr 1999 ein Betrag von Fr. 31'510.- an den Beschwerdeführer ausbezahlt worden war, auf welchem die Firma keine Sozialversicherungsbeiträge entrichtet hatte, was sie damit begründete, dass der Empfänger der Zahlung als Selbstständigerwerbender hätte abrechnen sollen. Auf Anfrage der Ausgleichskasse erklärte der Beschwerdeführer, die Firma habe ihm im Kalenderjahr 1999 für ein in den Jahren 1995 bis 1998 realisiertes Projekt, welches er auf eigenes Risiko, mit eigenen Fahrzeugen, Werkzeugen und Materialien ausgeführt habe, Fr. 30'375.- (Sammelrechnung) und für einen Einzelauftrag Fr. 1132.- bezahlt. Er habe das erwähnte Projekt in seiner Freizeit, neben einer vollzeitlichen Anstellung, realisiert. Im Lichte dieser Angaben des Beschwerdeführers beruht die durch die Ausgleichskasse vorgenommene und durch die Vorinstanz bestätigte gleichmässige Aufteilung des eingenommenen Betrags von Fr. 31'510.- auf die Jahre 1995 bis 1998 weder auf einer offensichtlich unrichtigen noch einer unvollständigen Feststellung des rechtserheblichen Sachverhalts (Erw. 1.1 hievor) und ist deshalb für das Eidgenössische Versicherungsgericht verbindlich, zumal den Gewinnungskosten unbestrittenermassen hinreichend Rechnung getragen wurde. Die letztinstanzlich erstmals vorgebrachte Darstellung, die Arbeiten seien zu 85% im Jahr 1996 erbracht worden, ist im Rahmen von Art. 105 Abs. 2 OG unzulässig, da die Vorinstanz auf Grund der Aktenlage nicht gehalten war, von sich aus diesbezügliche Abklärungen zu tätigen (Erw. 1.2 hievor). Nicht zu beanstanden ist auch die nach Berücksichtigung weiterer, geringerer Einkünfte und Abzug der Gewinnungskosten resultierende Bezifferung des zusätzlichen Einkommens der Jahre 1995 bis 1998 auf je Fr. 6399.-. Damit ergeben sich die bereits genannten massgebenden Erwerbseinkommen von Fr. 35'068.- im Jahr 1995 sowie je Fr. 6399.- in den Jahren 1996 bis 1998.
3.2 Die in den vorinstanzlich bestätigten Verfügungen vom 23. Oktober 2001 enthaltenen Einkommen der Jahre 1995 (soweit Fr. 28'669.- übersteigend) bis 1998 resultieren im Wesentlichen aus der Aufteilung eines dem Beschwerdeführer im Jahr 1999 ausbezahlten Betrags von Fr. 31'510.-. Dieser Summe liegt der folgende Sachverhalt zu Grunde: Anlässlich einer am 5. April 2001 durchgeführten Arbeitgeberkontrolle bei der Firma M._ AG wurde festgestellt, dass im Jahr 1999 ein Betrag von Fr. 31'510.- an den Beschwerdeführer ausbezahlt worden war, auf welchem die Firma keine Sozialversicherungsbeiträge entrichtet hatte, was sie damit begründete, dass der Empfänger der Zahlung als Selbstständigerwerbender hätte abrechnen sollen. Auf Anfrage der Ausgleichskasse erklärte der Beschwerdeführer, die Firma habe ihm im Kalenderjahr 1999 für ein in den Jahren 1995 bis 1998 realisiertes Projekt, welches er auf eigenes Risiko, mit eigenen Fahrzeugen, Werkzeugen und Materialien ausgeführt habe, Fr. 30'375.- (Sammelrechnung) und für einen Einzelauftrag Fr. 1132.- bezahlt. Er habe das erwähnte Projekt in seiner Freizeit, neben einer vollzeitlichen Anstellung, realisiert. Im Lichte dieser Angaben des Beschwerdeführers beruht die durch die Ausgleichskasse vorgenommene und durch die Vorinstanz bestätigte gleichmässige Aufteilung des eingenommenen Betrags von Fr. 31'510.- auf die Jahre 1995 bis 1998 weder auf einer offensichtlich unrichtigen noch einer unvollständigen Feststellung des rechtserheblichen Sachverhalts (Erw. 1.1 hievor) und ist deshalb für das Eidgenössische Versicherungsgericht verbindlich, zumal den Gewinnungskosten unbestrittenermassen hinreichend Rechnung getragen wurde. Die letztinstanzlich erstmals vorgebrachte Darstellung, die Arbeiten seien zu 85% im Jahr 1996 erbracht worden, ist im Rahmen von Art. 105 Abs. 2 OG unzulässig, da die Vorinstanz auf Grund der Aktenlage nicht gehalten war, von sich aus diesbezügliche Abklärungen zu tätigen (Erw. 1.2 hievor). Nicht zu beanstanden ist auch die nach Berücksichtigung weiterer, geringerer Einkünfte und Abzug der Gewinnungskosten resultierende Bezifferung des zusätzlichen Einkommens der Jahre 1995 bis 1998 auf je Fr. 6399.-. Damit ergeben sich die bereits genannten massgebenden Erwerbseinkommen von Fr. 35'068.- im Jahr 1995 sowie je Fr. 6399.- in den Jahren 1996 bis 1998.
4. Zu prüfen bleibt, auf welchen Einkünften die Beiträge der vorliegend streitigen Jahre 1996 bis 2000 zu bemessen sind.
4.1 Nach Lage der Akten nahm der Beschwerdeführer die nebenberufliche selbstständige Erwerbstätigkeit am 1. Januar 1993 auf und übte sie während des vorliegend streitigen Zeitraums weiterhin aus. Unter diesen Umständen ist, wie die Vorinstanz zu Recht erkannt hat, nicht von einer gelegentlichen selbstständigen Nebenerwerbstätigkeit im Sinne von <ref-law> auszugehen. Die zeitliche Bemessung der Beiträge hat deshalb nach Massgabe der allgemeinen Bestimmungen über die Beitragsbemessung im ordentlichen (Art. 22 Abs. 1 und 2 AHVV) und ausserordentlichen Verfahren (<ref-law>) zu erfolgen.
4.1 Nach Lage der Akten nahm der Beschwerdeführer die nebenberufliche selbstständige Erwerbstätigkeit am 1. Januar 1993 auf und übte sie während des vorliegend streitigen Zeitraums weiterhin aus. Unter diesen Umständen ist, wie die Vorinstanz zu Recht erkannt hat, nicht von einer gelegentlichen selbstständigen Nebenerwerbstätigkeit im Sinne von <ref-law> auszugehen. Die zeitliche Bemessung der Beiträge hat deshalb nach Massgabe der allgemeinen Bestimmungen über die Beitragsbemessung im ordentlichen (Art. 22 Abs. 1 und 2 AHVV) und ausserordentlichen Verfahren (<ref-law>) zu erfolgen.
4.2 4.2.1 Gemäss <ref-law> (in der bis Ende 2000 gültig gewesenen Fassung) wird der Jahresbeitrag vom reinen Einkommen aus selbstständiger Erwerbstätigkeit durch eine Beitragsverfügung für eine Beitragsperiode von zwei Jahren festgesetzt. Die Beitragsperiode beginnt mit dem geraden Kalenderjahr (Abs. 1). Der Jahresbeitrag wird in der Regel aufgrund des durchschnittlichen reinen Erwerbseinkommens einer zweijährigen Berechnungsperiode bemessen. Diese umfasst das zweit- und drittletzte Jahr vor der Beitragsperiode (Abs. 2).
4.2.2 Nimmt der Beitragspflichtige eine selbständige Erwerbstätigkeit auf (....), so ermittelt die Ausgleichskasse das massgebende reine Erwerbseinkommen für die Zeit von der Aufnahme der selbständigen Erwerbstätigkeit (....) bis zum Beginn der nächsten ordentlichen Beitragsperiode und setzt die entsprechenden Beiträge fest (<ref-law> in der bis Ende 2000 gültig gewesenen Fassung). Die Beiträge sind für jedes Kalenderjahr aufgrund des jeweiligen Jahreseinkommens festzusetzen. Für das Vorjahr der nächsten ordentlichen Beitragsperiode sind die Beiträge aufgrund des reinen Erwerbseinkommens festzusetzen, das der Beitragsbemessung für diese Periode zugrunde zu legen ist (<ref-law> in der bis Ende 2000 gültig gewesenen Fassung).
4.2.3 Gemäss <ref-law> (in der vom 1. Januar 1988 bis 31. Dezember 1994 gültig gewesenen Fassung) sind, wenn das Erwerbseinkommen des ersten Geschäftsjahres unverhältnismässig stark von dem der folgenden Jahre abweicht, die Beiträge erst für das Vorjahr der übernächsten ordentlichen Beitragsperiode aufgrund des reinen Erwerbseinkommens festzusetzen, das der Beitragsbemessung für diese Periode zugrunde zu legen ist. Für die Jahre davor gilt die Gegenwartsbemessung. Nach der Rechtsprechung ist die Voraussetzung des unverhältnismässigen starken Abweichens erfüllt, wenn das Einkommen des ersten Geschäftsjahres mindestens 25% von jenem der beiden nächsten Geschäftsjahre abweicht (<ref-ruling>). Intertemporalrechtlich gelangt die bis Ende 1994 gültig gewesene Fassung von <ref-law> zur Anwendung, wenn sich der für die Rechtsfolge massgebliche Sachverhalt (über 25% Abweichung des Einkommens des ersten Geschäftsjahres von den beiden nächsten Geschäftsjahren) schwergewichtig oder überwiegend während des Zeitraums bis 31. Dezember 1994 verwirklicht hat (Urteil A. vom 4. September 2001, H 283/00, Erw. 3d/bb, mit Hinweis auf <ref-ruling> Erw. 4b).
Im vorliegenden Fall wurde das erste Geschäftsjahr Ende 1993 abgeschlossen. Das Ergebnis wich mehr als 25% von jenem der Jahre 1994 und 1995 ab. Unter diesen Umständen gelangt <ref-law> in der bis 31. Dezember 1994 gültig gewesenen Fassung zur Anwendung, da zwei der drei ersten Geschäftsjahre während der Geltungsdauer dieser Norm abgeschlossen wurden (Urteil Z. vom 11. März 2003, Erw. 3.3).
4.2.4 Da die selbstständige Erwerbstätigkeit im Jahr 1993 aufgenommen wurde, bilden die Jahre 1996/97 die nächste ordentliche Beitragsperiode (vgl. <ref-ruling> Erw. 1 mit Hinweisen), die Jahre 1998/99 die übernächste. Gestützt auf <ref-law> in der vom 1. Januar 1988 bis 31. Dezember 1994 gültig gewesenen Fassung sind demzufolge die Beiträge der Jahre 1993 bis 1996 im ausserordentlichen Verfahren auf Grund einer Gegenwartsbemessung, jene der Jahre 1998 und 1999 (übernächste ordentliche Beitragsperiode) sowie 1997 (Vorjahr der übernächsten ordentlichen Beitragsperiode) im ordentlichen Verfahren gemäss Art. 22 Abs. 1 und 2 AHVV (in der bis 31. Dezember 2000 gültig gewesenen Fassung) festzusetzen. Letzteres gilt auch für das Beitragsjahr 2000, für welches der Jahresbeitrag einzeln zu bestimmen ist (AHVV, Schlussbestimmungen, Abweichende Regelung für die Beitragsjahre 2000 und 2001).
4.3 Nach dem Gesagten hat die Ausgleichskasse mit den lite pendente erlassenen, vorinstanzlich bestätigten Verfügungen vom 23. Oktober 2001 korrekterweise die Beiträge für das Jahr 1996 auf der Grundlage des im Beitragsjahr erzielten Einkommens, jene für die Jahre 1997 bis 1999 ausgehend vom durchschnittlichen reinen Einkommen der Jahre 1995 und 1996 und diejenigen für das Jahr 2000 gestützt auf das durchschnittliche Einkommen der Jahre 1997 und 1998 festgesetzt. Die betragsmässige Ermittlung der Beitragshöhe auf dieser Basis ist zu Recht unbeanstandet geblieben.
4.3 Nach dem Gesagten hat die Ausgleichskasse mit den lite pendente erlassenen, vorinstanzlich bestätigten Verfügungen vom 23. Oktober 2001 korrekterweise die Beiträge für das Jahr 1996 auf der Grundlage des im Beitragsjahr erzielten Einkommens, jene für die Jahre 1997 bis 1999 ausgehend vom durchschnittlichen reinen Einkommen der Jahre 1995 und 1996 und diejenigen für das Jahr 2000 gestützt auf das durchschnittliche Einkommen der Jahre 1997 und 1998 festgesetzt. Die betragsmässige Ermittlung der Beitragshöhe auf dieser Basis ist zu Recht unbeanstandet geblieben.
5. Bezüglich der vorinstanzlich ebenfalls bestrittenen, in der Verwaltungsgerichtsbeschwerde nicht mehr thematisierten Verzugszinsen kann vollumfänglich auf die zutreffenden Erwägungen des kantonalen Gerichts sowie die Berechnungsblätter der Ausgleichskasse vom 23. Oktober 2001 verwiesen werden.
5. Bezüglich der vorinstanzlich ebenfalls bestrittenen, in der Verwaltungsgerichtsbeschwerde nicht mehr thematisierten Verzugszinsen kann vollumfänglich auf die zutreffenden Erwägungen des kantonalen Gerichts sowie die Berechnungsblätter der Ausgleichskasse vom 23. Oktober 2001 verwiesen werden.
6. Weil das Verfahren nicht die Gewährung oder Verweigerung von Versicherungsleistungen zum Gegenstand hat, ist es kostenpflichtig (Art. 134 OG e contrario). Die Gerichtskosten sind dem unterliegenden Beschwerdeführer aufzuerlegen.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 600.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 600.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, Sozialversicherungsrechtliche Abteilung, und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 14. Juni 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Der Gerichtsschreiber: