Sachverhalt:
Sachverhalt:
A. S._ ist Kollektivgesellschafter der W._ Co. und der Ausgleichskasse des Kantons Zug in dieser Eigenschaft seit 1. März 1996 als Selbstständigerwerbender angeschlossen. Nachdem das Steueramt des Kantons X._, Abteilung Direkte Bundessteuer, der Kasse am 1. November 2002 ein (reines) Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 2'115'296.- im Jahre 1996 (März-Dezember), von Fr. 883'123.- im Jahre 1997 und Fr. 839'298.- im Jahre 1998 gemeldet hatte, verpflichtete ihn die Ausgleichskasse zur Bezahlung von AHV/IV/EO-Beiträgen für die Zeit vom 1. März 1996 bis 31. Dezember 2000, wobei sie von folgenden beitragspflichtigen Einkommen ausging: 1996 (März-Dezember): Fr. 2'096'700.-; 1997: Fr. 882'300.-; 1998: Fr. 838'000.-; 1999: Fr. 860'400.-; 2000: Fr. 860'900.- (Nachtragsverfügungen vom 26. November 2002).
A. S._ ist Kollektivgesellschafter der W._ Co. und der Ausgleichskasse des Kantons Zug in dieser Eigenschaft seit 1. März 1996 als Selbstständigerwerbender angeschlossen. Nachdem das Steueramt des Kantons X._, Abteilung Direkte Bundessteuer, der Kasse am 1. November 2002 ein (reines) Einkommen aus selbstständiger Erwerbstätigkeit von Fr. 2'115'296.- im Jahre 1996 (März-Dezember), von Fr. 883'123.- im Jahre 1997 und Fr. 839'298.- im Jahre 1998 gemeldet hatte, verpflichtete ihn die Ausgleichskasse zur Bezahlung von AHV/IV/EO-Beiträgen für die Zeit vom 1. März 1996 bis 31. Dezember 2000, wobei sie von folgenden beitragspflichtigen Einkommen ausging: 1996 (März-Dezember): Fr. 2'096'700.-; 1997: Fr. 882'300.-; 1998: Fr. 838'000.-; 1999: Fr. 860'400.-; 2000: Fr. 860'900.- (Nachtragsverfügungen vom 26. November 2002).
B. Hiegegen liess S._ Beschwerde erheben mit dem Rechtsbegehren, es sei das beitragspflichtige Einkommen (recte: das reine Einkommen aus selbstständiger Erwerbstätigkeit) für die Zeit vom 1. März bis 31. Dezember 1996 auf Fr. 2'102'296.-, für das Jahr 1997 auf Fr. 871'123.-, für das Jahr 1998 auf Fr. 827'298.- sowie für die Jahre 1999 und 2000 auf je Fr. 849'211.- festzusetzen, wobei er zur Begründung ausführte, dass er mit der Aufrechnung von Privatanteilen von Fr. 13'000.- (im Jahr 1996) und Fr. 12'000.- (in den Jahren 1997 und 1998) nicht einverstanden sei. Mit Entscheid vom 26. Februar 2004 hiess das Verwaltungsgericht des Kantons Zug die Beschwerde insofern teilweise gut, als es die angefochtene Nachtragsverfügung betreffend die Beiträge für das Jahr 1996 aufhob; im Übrigen wies es die Beschwerde ab.
B. Hiegegen liess S._ Beschwerde erheben mit dem Rechtsbegehren, es sei das beitragspflichtige Einkommen (recte: das reine Einkommen aus selbstständiger Erwerbstätigkeit) für die Zeit vom 1. März bis 31. Dezember 1996 auf Fr. 2'102'296.-, für das Jahr 1997 auf Fr. 871'123.-, für das Jahr 1998 auf Fr. 827'298.- sowie für die Jahre 1999 und 2000 auf je Fr. 849'211.- festzusetzen, wobei er zur Begründung ausführte, dass er mit der Aufrechnung von Privatanteilen von Fr. 13'000.- (im Jahr 1996) und Fr. 12'000.- (in den Jahren 1997 und 1998) nicht einverstanden sei. Mit Entscheid vom 26. Februar 2004 hiess das Verwaltungsgericht des Kantons Zug die Beschwerde insofern teilweise gut, als es die angefochtene Nachtragsverfügung betreffend die Beiträge für das Jahr 1996 aufhob; im Übrigen wies es die Beschwerde ab.
C. S._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es sei das beitragspflichtige Einkommen (recte: das reine Einkommen aus selbstständiger Erwerbstätigkeit) im Jahr 1996 (März-Dezember) auf Fr. 2'083'761.-, 1997 auf Fr. 858'326.-, 1998 auf Fr. 790'003.-, 1999 auf Fr. 824'455.- und 2000 auf Fr. 824'965.- festzusetzen.
Die Ausgleichskasse erhebt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, der kantonale Entscheid sei aufzuheben, soweit damit die Nachtragsverfügung betreffend die Beträge für das Jahr 1996 aufgehoben worden sei, und S._ sei zu verpflichten, für das Jahr 1996 Beiträge gestützt auf ein beitragspflichtiges Einkommen von Fr. 2'096'700.- zu entrichten.
S._ lässt sich zur Verwaltungsgerichtsbeschwerde der Ausgleichskasse nicht vernehmen; das Bundesamt für Sozialversicherung (BSV) beantragt die Gutheissung dieses Rechtsmittels. Die Ausgleichskasse schliesst auf Abweisung der von S._ erhobenen Verwaltungsgerichtsbeschwerde; das BSV verzichtet in diesem Verfahren auf die Einreichung einer Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Weil die beiden Verwaltungsgerichtsbeschwerden insoweit miteinander verbunden sind, als ihnen derselbe Sachverhalt zugrunde liegt und die Rechtsmittel den nämlichen vorinstanzlichen Entscheid betreffen, rechtfertigt es sich, die beiden Verfahren zu vereinigen und in einem einzigen Urteil zu erledigen (<ref-ruling> Erw. 1 mit Hinweisen; vgl. auch <ref-ruling> Erw. 1).
1. Weil die beiden Verwaltungsgerichtsbeschwerden insoweit miteinander verbunden sind, als ihnen derselbe Sachverhalt zugrunde liegt und die Rechtsmittel den nämlichen vorinstanzlichen Entscheid betreffen, rechtfertigt es sich, die beiden Verfahren zu vereinigen und in einem einzigen Urteil zu erledigen (<ref-ruling> Erw. 1 mit Hinweisen; vgl. auch <ref-ruling> Erw. 1).
2. 2.1 Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.2 Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen). Diese für neue Beweismittel massgebende Rechtsprechung gilt umso mehr, wenn vor dem Eidgenössischen Versicherungsgericht nicht einmal solche Beweismittel geltend gemacht, sondern lediglich neue Behauptungen aufgestellt werden, welche die betreffende Partei ohne weiteres schon im vorinstanzlichen Verfahren hätte vorbringen können. Unzulässig und mit der weit gehenden Bindung des Eidgenössischen Versicherungsgerichts an die vorinstanzliche Sachverhaltsfeststellung gemäss Art. 105 Abs. 2 OG unvereinbar ist es ferner, dem Eidgenössischen Versicherungsgericht Beweismittel vorzulegen, die schon durch das kantonale Gericht angefordert waren, die aber nicht fristgerecht unterbreitet wurden (<ref-ruling> Erw. 1c, 102 Ib 127; ZAK 1990 S. 396 Erw. 1).
2.2 Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue Beweismittel geltend zu machen, weitgehend eingeschränkt. Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (<ref-ruling> Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen). Diese für neue Beweismittel massgebende Rechtsprechung gilt umso mehr, wenn vor dem Eidgenössischen Versicherungsgericht nicht einmal solche Beweismittel geltend gemacht, sondern lediglich neue Behauptungen aufgestellt werden, welche die betreffende Partei ohne weiteres schon im vorinstanzlichen Verfahren hätte vorbringen können. Unzulässig und mit der weit gehenden Bindung des Eidgenössischen Versicherungsgerichts an die vorinstanzliche Sachverhaltsfeststellung gemäss Art. 105 Abs. 2 OG unvereinbar ist es ferner, dem Eidgenössischen Versicherungsgericht Beweismittel vorzulegen, die schon durch das kantonale Gericht angefordert waren, die aber nicht fristgerecht unterbreitet wurden (<ref-ruling> Erw. 1c, 102 Ib 127; ZAK 1990 S. 396 Erw. 1).
3. 3.1 Im angefochtenen Entscheid werden die Grundsätze über die zeitliche Anwendung des am 1. Januar 2003 in Kraft getretenen Bundesgesetzes über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000 (<ref-ruling> Erw. 1.2 mit Hinweisen) zutreffend dargelegt. Dasselbe gilt hinsichtlich des Begriffs des Einkommens aus selbstständiger Erwerbstätigkeit (<ref-law>; vgl. auch <ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung) und die Massgeblichkeit der Steuermeldung (<ref-law> in der bis 31. Dezember 2000 geltenden Fassung und <ref-law>; AHI 1997 S. 25 Erw. 2b mit Hinweisen). Darauf kann verwiesen werden.
Zu ergänzen ist, dass gemäss <ref-law> in der bis 31. Dezember 2000 geltenden Fassung der Jahresbeitrag vom reinen Einkommen aus selbstständiger Erwerbstätigkeit durch eine Beitragsverfügung für eine Beitragsperiode von zwei Jahren festgesetzt wird. Die Beitragsperiode beginnt mit dem geraden Kalenderjahr (Abs. 1). Der Jahresbeitrag wird in der Regel aufgrund des durchschnittlichen reinen Erwerbseinkommens einer zweijährigen Berechnungsperiode bemessen. Diese umfasst das zweit- und drittletzte Jahr vor der Beitragsperiode und entspricht jeweils einer Berechnungsperiode der direkten Bundessteuer (Abs. 2).
Nimmt der Beitragspflichtige eine selbstständige Erwerbstätigkeit auf und haben sich die Einkommensgrundlagen seit der Berechnungsperiode, für welche die kantonale Steuerbehörde das Erwerbseinkommen ermittelt hat, infolge Berufs- oder Geschäftswechsels, Wegfalls oder Hinzutritts einer Einkommensquelle, Neuverteilung des Betriebs- oder Geschäftseinkommens oder Invalidität dauernd verändert und wurde dadurch die Höhe des Einkommens wesentlich beeinflusst, so ermittelt die Ausgleichskasse das massgebende reine Erwerbseinkommen für die Zeit von der Aufnahme der selbstständigen Erwerbstätigkeit bzw. von der Veränderung bis zum Beginn der nächsten ordentlichen Beitragsperiode und setzt die entsprechenden Beiträge fest (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung). Die Beiträge sind für jedes Kalenderjahr aufgrund des jeweiligen Jahreseinkommens festzusetzen. Für das Vorjahr der nächsten ordentlichen Beitragsperiode sind die Beiträge aufgrund des reinen Erwerbseinkommens festzusetzen, das der Beitragsbemessung für diese Periode zugrunde zu legen ist (<ref-law> in der bis 31. Dezember 2000 gültig gewesenen Fassung).
3.2 Nach <ref-law> können Beiträge, die nicht innert fünf Jahren nach Ablauf des Kalenderjahres, für welches sie geschuldet sind, durch Verfügung geltend gemacht werden, nicht mehr eingefordert oder entrichtet werden.
<ref-law> in der bis Ende 1996 gültigen Fassung sah vor, dass für Beiträge, die aufgrund einer Nachsteuerveranlagung festgesetzt werden, die Frist mit dem Ablauf des Kalenderjahres beginnt, in welchem die Nachsteuer rechtskräftig veranlagt wurde. Gemäss der von 1. Januar 1997 bis 31. Dezember 2002 geltenden Fassung des <ref-law> (Gesetzesänderung vom 7. Oktober 1994, 10. AHV-Revision, AS 1996 2466 ff.) endet die Frist für Beiträge nach den Art. 6, 8 Abs. 1 und 10 Abs. 1 AHVG ein Jahr nach Ablauf des Kalenderjahres, in welchem die massgebende Steuerveranlagung oder Nachsteuerveranlagung rechtskräftig wurde. Nach lit. b Abs. 1 der Übergangsbestimmungen gilt das neue Recht nur für Beiträge, die bei In-Kraft-Treten der Revision nicht schon verjährt waren. Für Beiträge, welche aufgrund einer Nachsteuerveranlagung festgesetzt wurden, die vor In-Kraft-Treten der Gesetzesänderung rechtskräftig wurde, endet die Frist von <ref-law> spätestens ein Jahr nach In-Kraft-Treten (AS 1996 2484 f.).
Wird eine Nachforderung aus einer strafbaren Handlung hergeleitet, für welche das Strafrecht eine längere Verjährungsfrist festsetzt, so ist diese Frist massgebend (<ref-law>).
Bei diesen Fristen handelt es sich - entgegen dem Wortlaut der Bestimmung - rechtsprechungsgemäss um Verwirkungsfristen (<ref-ruling>).
Bei diesen Fristen handelt es sich - entgegen dem Wortlaut der Bestimmung - rechtsprechungsgemäss um Verwirkungsfristen (<ref-ruling>).
4. Nach dem angefochtenen Entscheid können die für das Jahr 1996 geschuldeten Beiträge infolge Verwirkung nicht mehr geltend gemacht werden. Zu diesem Schluss gelangte das kantonale Gericht gestützt auf die bis Ende 1996 geltende Fassung des <ref-law>, wobei es festhielt, dass die Frist - mangels Vorliegen einer Nachsteuerveranlagung - Ende 1996 zu laufen begonnen und Ende 2001 geendet habe, sodass die für das Jahr 1996 geschuldeten Beiträge im Zeitpunkt des Verfügungserlasses (26. November 2002) bereits verwirkt gewesen seien.
Dieser Auffassung kann nicht beigepflichtet werden. Denn wie die Ausgleichskasse in der Verwaltungsgerichtsbeschwerde zutreffend geltend macht, übersah die Vorinstanz dabei lit. b Abs. 1 der Übergangsbestimmungen zur Gesetzesänderung vom 7. Oktober 1994, wonach das neue Recht (nur) für Beiträge gilt, die bei In-Kraft-Treten der Revision nicht schon verjährt waren (mithin nur für solche, die ab 1. Januar 2002 [allenfalls aufgrund einer Nachsteuerveranlagung] geschuldet sind; vgl. dazu AHI 1996 S. 285). Dies trifft in Bezug auf die für das Jahr 1996 geschuldeten Beiträge zu, trat doch für diese die Festsetzungsverwirkung aufgrund des alten Rechts erst Ende 2001 ein. Gelangt demnach das neue Recht zur Anwendung, endet die Verwirkungfrist der für das Jahr 1996 geschuldeten Beiträge ein Jahr nach Rechtskraft der Steuerveranlagung, das heisst - mit Blick darauf, dass die massgebende Steuerveranlagungsverfügung unbestrittenermassen am 23. Juli 2002 versandt wurde und 30 Tage später in Rechtskraft erwuchs (vgl. die vom Verwaltungsgericht des Kantons Zug beim Kantonalen Steueramt X._ eingeholte Auskunft vom 7. Oktober 2003) - im Verlaufe des Jahres 2003, sodass die am 26. November 2002 ergangene Beitragsverfügung für das Jahr 1996 rechtzeitig erlassen worden ist.
Dieser Auffassung kann nicht beigepflichtet werden. Denn wie die Ausgleichskasse in der Verwaltungsgerichtsbeschwerde zutreffend geltend macht, übersah die Vorinstanz dabei lit. b Abs. 1 der Übergangsbestimmungen zur Gesetzesänderung vom 7. Oktober 1994, wonach das neue Recht (nur) für Beiträge gilt, die bei In-Kraft-Treten der Revision nicht schon verjährt waren (mithin nur für solche, die ab 1. Januar 2002 [allenfalls aufgrund einer Nachsteuerveranlagung] geschuldet sind; vgl. dazu AHI 1996 S. 285). Dies trifft in Bezug auf die für das Jahr 1996 geschuldeten Beiträge zu, trat doch für diese die Festsetzungsverwirkung aufgrund des alten Rechts erst Ende 2001 ein. Gelangt demnach das neue Recht zur Anwendung, endet die Verwirkungfrist der für das Jahr 1996 geschuldeten Beiträge ein Jahr nach Rechtskraft der Steuerveranlagung, das heisst - mit Blick darauf, dass die massgebende Steuerveranlagungsverfügung unbestrittenermassen am 23. Juli 2002 versandt wurde und 30 Tage später in Rechtskraft erwuchs (vgl. die vom Verwaltungsgericht des Kantons Zug beim Kantonalen Steueramt X._ eingeholte Auskunft vom 7. Oktober 2003) - im Verlaufe des Jahres 2003, sodass die am 26. November 2002 ergangene Beitragsverfügung für das Jahr 1996 rechtzeitig erlassen worden ist.
5. Streitig und zu prüfen ist aufgrund der vom Beitragspflichtigen eingereichten Verwaltungsgerichtsbeschwerde sodann die Höhe der den Beitragsverfügungen zugrunde liegenden Einkommen.
5.1 S._ macht geltend, in den von der Steuerbehörde gemeldeten Einkommen seien von der P._ AG entrichtete Entgelte (1997: Fr. 12'000.-; 1998: Fr. 36'000.-; 1999: Fr. 24'000.-; 2000: Fr. 24'000.-) enthalten, welche von der Ausgleichskasse nachträglich als Einkommen aus unselbstständiger Erwerbstätigkeit erfasst worden seien. Dieser Einwand ist indessen nicht geeignet, die tatsächlichen Feststellungen der Vorinstanz als mangelhaft im Sinne von Art. 105 Abs. 2 OG erscheinen zu lassen. Vielmehr hätte der Beitragspflichtige ihn bereits im kantonalen Verfahren vorbringen können und im Rahmen der ihm obliegenden Mitwirkungspflichten auch müssen. Ein Grund, weshalb dies nicht möglich gewesen wäre, ist nicht ersichtlich. Es handelt sich daher um unzulässige Noven (vgl. Erw. 2.2 hiervor), welche nicht berücksichtigt werden können.
5.2 Wie bereits im kantonalen Verfahren macht S._ sodann geltend, in den von der Steuerbehörde gemeldeten Einkommen seien unzutreffenderweise Aufrechnungen für ein Geschäftsauto bzw. Reisespesen von Fr. 13'000.- (im Jahr 1996) bzw. Fr. 12'000.- (in den Jahren 1997 und 1998) enthalten, welche nicht mit seiner selbstständigen Erwerbstätigkeit, sondern vielmehr mit seiner unselbstständigen Tätigkeit für die A._ AG im Zusammenhang ständen.
Die Vorinstanz schloss aus dem Umstand, dass die streitigen Privatanteile auf den Lohnausweisen der A._ AG der Jahre 1997-2000 nicht aufgeführt worden sind und S._ diese in den Steuererklärungen jeweils unter "übrige Einkünfte" aufgeführt hat, dass es sich dabei nicht um Einkommen aus unselbstständiger Erwerbstätigkeit, sondern nur um solches aus selbstständiger Erwerbstätigkeit handeln könne. Dieser Argumentation ist entgegenzuhalten, dass die Rubrik "übrige Einkünfte" keinerlei Schluss über die Herkunft des Einkommens zulässt und die Aufrechnungen durch die Steuerbehörde erst nach Ausstellen der Lohnausweise veranlasst worden sind. Dass die Aufrechnung von Fr. 13'000.- bzw. Fr. 12'000.- für ein Geschäftsauto bzw. Reisespesen beim Einkommen aus selbstständiger Erwerbstätigkeit einer genaueren Prüfung nicht standhält, ergibt sich aus der in den Akten liegenden Buchhaltung der W._ Co., aus welcher ersichtlich ist, dass die W._ Co. überhaupt keine Geschäftsautos hielt. Damit stimmt überein, dass gemäss den von S._ im letztinstanzlichen Verfahren eingereichten Unterlagen die Rechnungen für Verkehrssteuern und Reparaturen des fraglichen Geschäftsautos nicht an die W._ Co., sondern an die A._ AG gingen. Bei dieser Sachlage ist erstellt, dass die streitigen Privatanteile mit der von S._ bei der A._ AG in unselbstständiger Stellung ausgeübten Tätigkeit zusammenhängen und nicht dem Einkommen aus selbstständiger Erwerbstätigkeit zugeschlagen werden dürfen, weshalb das von der Steuerbehörde gemeldete (reine) Einkommen aus selbstständiger Erwerbstätigkeit 1996 um Fr. 13'000.- und in den Jahren 1997 und 1998 um Fr. 12'000.- zu hoch ausgefallen ist. Da diesbezüglich in den Steuermeldungen ein klar ausgewiesener Irrtum vorliegt, sind die Verfügungen aufzuheben und ist die Sache an die Ausgleichskasse zurückzuweisen, damit sie unter Zugrundelegung eines reinen Einkommens aus selbstständiger Erwerbstätigkeit von Fr. 2'102'296.- (Fr. 2'115'296.- - Fr. 13'000.-) im Jahre 1996 (März-Dezember), von Fr. 871'123 (Fr. 883'123.- - Fr. 12'000.-) im Jahre 1997 und von Fr. 827'298 (Fr. 839'298 - Fr. 12'000.-) im Jahre 1998 die in den Jahren 1996 bis 2000 geschuldeten Beiträge erneut verfüge.
Die Vorinstanz schloss aus dem Umstand, dass die streitigen Privatanteile auf den Lohnausweisen der A._ AG der Jahre 1997-2000 nicht aufgeführt worden sind und S._ diese in den Steuererklärungen jeweils unter "übrige Einkünfte" aufgeführt hat, dass es sich dabei nicht um Einkommen aus unselbstständiger Erwerbstätigkeit, sondern nur um solches aus selbstständiger Erwerbstätigkeit handeln könne. Dieser Argumentation ist entgegenzuhalten, dass die Rubrik "übrige Einkünfte" keinerlei Schluss über die Herkunft des Einkommens zulässt und die Aufrechnungen durch die Steuerbehörde erst nach Ausstellen der Lohnausweise veranlasst worden sind. Dass die Aufrechnung von Fr. 13'000.- bzw. Fr. 12'000.- für ein Geschäftsauto bzw. Reisespesen beim Einkommen aus selbstständiger Erwerbstätigkeit einer genaueren Prüfung nicht standhält, ergibt sich aus der in den Akten liegenden Buchhaltung der W._ Co., aus welcher ersichtlich ist, dass die W._ Co. überhaupt keine Geschäftsautos hielt. Damit stimmt überein, dass gemäss den von S._ im letztinstanzlichen Verfahren eingereichten Unterlagen die Rechnungen für Verkehrssteuern und Reparaturen des fraglichen Geschäftsautos nicht an die W._ Co., sondern an die A._ AG gingen. Bei dieser Sachlage ist erstellt, dass die streitigen Privatanteile mit der von S._ bei der A._ AG in unselbstständiger Stellung ausgeübten Tätigkeit zusammenhängen und nicht dem Einkommen aus selbstständiger Erwerbstätigkeit zugeschlagen werden dürfen, weshalb das von der Steuerbehörde gemeldete (reine) Einkommen aus selbstständiger Erwerbstätigkeit 1996 um Fr. 13'000.- und in den Jahren 1997 und 1998 um Fr. 12'000.- zu hoch ausgefallen ist. Da diesbezüglich in den Steuermeldungen ein klar ausgewiesener Irrtum vorliegt, sind die Verfügungen aufzuheben und ist die Sache an die Ausgleichskasse zurückzuweisen, damit sie unter Zugrundelegung eines reinen Einkommens aus selbstständiger Erwerbstätigkeit von Fr. 2'102'296.- (Fr. 2'115'296.- - Fr. 13'000.-) im Jahre 1996 (März-Dezember), von Fr. 871'123 (Fr. 883'123.- - Fr. 12'000.-) im Jahre 1997 und von Fr. 827'298 (Fr. 839'298 - Fr. 12'000.-) im Jahre 1998 die in den Jahren 1996 bis 2000 geschuldeten Beiträge erneut verfüge.
6. Das Verfahren ist kostenpflichtig, da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (Art. 134 OG e contrario). Entsprechend dem Verfahrensausgang gehen die Gerichtskosten im von S._ eingeleiteten Verfahren, in welchem S._ mit seinen Anträgen teilweise durchdringt, je hälftig zu seinen Lasten und zu Lasten der Ausgleichskasse. Im von der Ausgleichskasse eingeleiteten Verfahren, in welchem die Kasse vollumfänglich obsiegt, werden sie S._ auferlegt (Art. 156 Abs. 1 und 3 OG).
Zudem hat die Ausgleichskasse S._ im von ihm eingeleiteten Verfahren eine wegen teilweisen Obsiegens reduzierte Parteientschädigung zu bezahlen (Art. 159 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verfahren H 50/04 und H 68/04 werden vereinigt.
1. Die Verfahren H 50/04 und H 68/04 werden vereinigt.
2. In Gutheissung der Verwaltungsgerichtsbeschwerde der Ausgleichskasse wird der Entscheid des Verwaltungsgerichtes des Kantons Zug vom 26. Februar 2004 insoweit aufgehoben, als die das Jahr 1996 betreffende Verfügung der Ausgleichskasse vom 26. November 2002 aufgehoben wurde.
2. In Gutheissung der Verwaltungsgerichtsbeschwerde der Ausgleichskasse wird der Entscheid des Verwaltungsgerichtes des Kantons Zug vom 26. Februar 2004 insoweit aufgehoben, als die das Jahr 1996 betreffende Verfügung der Ausgleichskasse vom 26. November 2002 aufgehoben wurde.
3. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde des S._ werden der Entscheid des Verwaltungsgerichtes des Kantons Zug vom 26. Februar 2004 und die die Jahre 1996 bis 2000 betreffenden Verfügungen der Ausgleichskasse vom 26. November 2002 aufgehoben und es wird die Sache an die Verwaltung zurückgewiesen, damit sie im Sinne der Erwägungen verfahre.
3. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde des S._ werden der Entscheid des Verwaltungsgerichtes des Kantons Zug vom 26. Februar 2004 und die die Jahre 1996 bis 2000 betreffenden Verfügungen der Ausgleichskasse vom 26. November 2002 aufgehoben und es wird die Sache an die Verwaltung zurückgewiesen, damit sie im Sinne der Erwägungen verfahre.
4. Von den Gerichtskosten von total Fr. 7200.- (einschliesslich Mehrwertsteuer) werden Fr. 6600.- S._ auferlegt und mit dem von ihm geleisteten Kostenvorschuss von Fr. 1200.- verrechnet und Fr. 600.- der Ausgleichskasse des Kantons Zug auferlegt und mit dem von ihr geleisteten Kostenvorschuss von Fr. 6000.- verrechnet. Der Differenzbetrag von Fr. 5400.- wird der Ausgleichskasse zurückerstattet.
4. Von den Gerichtskosten von total Fr. 7200.- (einschliesslich Mehrwertsteuer) werden Fr. 6600.- S._ auferlegt und mit dem von ihm geleisteten Kostenvorschuss von Fr. 1200.- verrechnet und Fr. 600.- der Ausgleichskasse des Kantons Zug auferlegt und mit dem von ihr geleisteten Kostenvorschuss von Fr. 6000.- verrechnet. Der Differenzbetrag von Fr. 5400.- wird der Ausgleichskasse zurückerstattet.
5. Die Ausgleichskasse des Kantons Zug hat S._ für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
5. Die Ausgleichskasse des Kantons Zug hat S._ für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
6. Das Verwaltungsgericht des Kantons Zug wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
6. Das Verwaltungsgericht des Kantons Zug wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
7. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 26. Juli 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Die Gerichtsschreiberin: