Sachverhalt:
Sachverhalt:
A. B._ war Verwaltungsratspräsident mit Einzelunterschrift der im Juli 1995 gegründeten und am ... 1997 in Konkurs gefallenen M._ AG; H._ war kollektivzeichnungsberechtigter Vizepräsident und Delegierter des Verwaltungsrats. Als Verwaltungsratsmitglieder amteten bis Juli 1996 W._ und ab Oktober 1996 K._, beide mit Kollektivunterschrift zu zweien. Mit Verfügung vom 4. Januar 1999 verpflichtete die Ausgleichskasse Nidwalden (nachfolgend: Ausgleichskasse) B._ zur Leistung von Schadenersatz in der Höhe von Fr. 122'472.55 für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten). Die auf Einspruch von B._ hin von der Ausgleichskasse gegen diesen eingereichte Klage hiess das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 3. Januar 2000 (Versand: 6. November 2000) gut und verpflichtete ihn zur Bezahlung von Schadenersatz im verfügten Umfang. Die hiegegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht, soweit es darauf eintrat, mit Urteil vom 13. Februar 2002 in dem Sinne gut, als es die Sache an die Vorinstanz zu weiterer Abklärung und neuem Entscheid zurückwies.
A. B._ war Verwaltungsratspräsident mit Einzelunterschrift der im Juli 1995 gegründeten und am ... 1997 in Konkurs gefallenen M._ AG; H._ war kollektivzeichnungsberechtigter Vizepräsident und Delegierter des Verwaltungsrats. Als Verwaltungsratsmitglieder amteten bis Juli 1996 W._ und ab Oktober 1996 K._, beide mit Kollektivunterschrift zu zweien. Mit Verfügung vom 4. Januar 1999 verpflichtete die Ausgleichskasse Nidwalden (nachfolgend: Ausgleichskasse) B._ zur Leistung von Schadenersatz in der Höhe von Fr. 122'472.55 für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten). Die auf Einspruch von B._ hin von der Ausgleichskasse gegen diesen eingereichte Klage hiess das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 3. Januar 2000 (Versand: 6. November 2000) gut und verpflichtete ihn zur Bezahlung von Schadenersatz im verfügten Umfang. Die hiegegen erhobene Verwaltungsgerichtsbeschwerde hiess das Eidgenössische Versicherungsgericht, soweit es darauf eintrat, mit Urteil vom 13. Februar 2002 in dem Sinne gut, als es die Sache an die Vorinstanz zu weiterer Abklärung und neuem Entscheid zurückwies.
B. In Nachachtung dieses Urteils wies das Verwaltungsgericht des Kantons Nidwalden die Ausgleichskasse mit Verfügung vom 1. März 2002 an, die Höhe der Schadenersatzsumme rechtsgenüglich auszuweisen. Nachdem die Ausgleichskasse in ihrer Stellungnahme vom 12. April 2002 beantragte, der ursprüngliche Forderungsbetrag sei auf Fr. 121'152.15 herabzusetzen, hiess das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 21. Februar 2003 die Schadenersatzklage in diesem Umfang gut.
B. In Nachachtung dieses Urteils wies das Verwaltungsgericht des Kantons Nidwalden die Ausgleichskasse mit Verfügung vom 1. März 2002 an, die Höhe der Schadenersatzsumme rechtsgenüglich auszuweisen. Nachdem die Ausgleichskasse in ihrer Stellungnahme vom 12. April 2002 beantragte, der ursprüngliche Forderungsbetrag sei auf Fr. 121'152.15 herabzusetzen, hiess das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 21. Februar 2003 die Schadenersatzklage in diesem Umfang gut.
C. Mit Verwaltungsgerichtsbeschwerde lässt B._ beantragen, das angefochtene Urteil sei vollumfänglich aufzuheben und die Klage der Ausgleichskasse vollumfänglich abzuweisen.
Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung (BSV) auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. 1.1 Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. <ref-ruling> Erw. 1 mit Hinweis).
1.2 Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
1.2 Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2. Im kantonalen Entscheid werden die Rechtsgrundlagen der Arbeitgeberhaftung (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die Rechtsprechung zur subsidiären Haftbarkeit der verantwortlichen Organe (<ref-ruling> Erw. 5b mit Hinweisen), zur Haftungsvoraussetzung des qualifizierten Verschuldens (<ref-ruling> Erw. 3a; ZAK 1985 S. 620 Erw. 3b; vgl. auch <ref-ruling> Erw. 4b), zum erforderlichen adäquaten Kausalzusammenhang zwischen der absichtlichen und grobfahrlässigen Missachtung von Vorschriften und dem eingetretenen Schaden (<ref-ruling> Erw. 4a mit Hinweisen) sowie bezüglich der für die Geltendmachung der Schadenersatzforderung gültigen Fristen (Art. 82 Abs. 1 und 2 AHVV) zutreffend dargelegt. Darauf kann verwiesen werden.
Richtig ist auch, dass das auf den 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000, mit welchem zahlreiche Bestimmungen im AHV-Recht, insbesondere auch hinsichtlich der Arbeitgeberhaftung nach <ref-law> (Art. 52 Abs. 3 und 4 AHVG, eingefügt durch Anhang Ziff. 7 ATSG), geändert worden sind, vorliegend keine Anwendung findet; dies, weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 3, 129 V 4 Erw. 1.2).
Richtig ist auch, dass das auf den 1. Januar 2003 in Kraft getretene Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) vom 6. Oktober 2000, mit welchem zahlreiche Bestimmungen im AHV-Recht, insbesondere auch hinsichtlich der Arbeitgeberhaftung nach <ref-law> (Art. 52 Abs. 3 und 4 AHVG, eingefügt durch Anhang Ziff. 7 ATSG), geändert worden sind, vorliegend keine Anwendung findet; dies, weil in zeitlicher Hinsicht grundsätzlich diejenigen Rechtssätze massgebend sind, die bei der Erfüllung des zu Rechtsfolgen führenden Tatbestandes Geltung haben (<ref-ruling> Erw. 3, 129 V 4 Erw. 1.2).
3. Streitig und zu prüfen ist, ob der Beschwerdeführer Schadenersatz zu leisten hat.
3.1 Zunächst ist festzuhalten, dass das kantonale Gericht das Rückweisungsurteil des Eidgenössischen Versicherungsgerichts vom 13. Februar 2002 mit Bezug auf die Sachverhaltsabklärung korrekt umgesetzt hat. Es hat ausführlich und zutreffend dargelegt, dass der nunmehr auf Fr. 121'152.15 herabgesetzte Schadenersatzbetrag auf Grund der von der Ausgleichskasse in ihrer Stellungnahme vom 12. April 2002 zusätzlich eingereichten Unterlagen und den dazugehörigen Erläuterungen rechtsgenüglich ausgewiesen ist. Wie sich aus dem Kontoauszug und den darin handschriftlich angebrachten Korrekturen ergibt, rührt die Differenz zum ursprünglich eingeklagten Betrag von Fr. 1320.40 daher, dass einerseits die Verzugszinsen nicht mehr über die Konkurseröffnung hinaus berechnet und auch die Betreibungskosten nur bis zu diesem Zeitpunkt berücksichtigt wurden.
Der Schadensbetrag wird vom Beschwerdeführer im neuerlichen Verfahren vor dem Eidgenössischen Versicherungsgericht betraglich nunmehr anerkannt. Streitig und zu prüfen bleibt damit das Verschulden des Beschwerdeführers.
3.2 Wie die Vorinstanz verbindlich festgestellt hat (vgl. Erw. 1.2 hievor), setzt sich die Schadenersatzforderung aus offenen Beiträgen der Jahre 1996 und 1997 zuzüglich Verwaltungskosten, Mahngebühren, Betreibungskosten und Verzugszinsen zusammen; die konkursite Gesellschaft entrichtete die Schlussabrechnung für das Jahr 1996 in der Höhe von Fr. 72'849.80 sowie die monatlichen Pauschalrechnungen für Januar, Februar und März 1997 von Fr. 16'330.95, Fr 16'250.40 und Fr. 16'330.95 nicht mehr.
Damit hat sie grobfahrlässig gegen die Vorschriften von <ref-law> in Verbindung mit <ref-law> (in der bis 31. Dezember 2000 gültig gewesenen Fassung) verstossen, was grundsätzlich die volle Schadenersatzpflicht gemäss <ref-law> nach sich zieht (<ref-ruling> Erw. 2a mit Hinweisen). Es ist deshalb zu prüfen, inwieweit dieses Verschulden der Arbeitgeberin dem Beschwerdeführer als grobfahrlässiges Verhalten, das die Schadenersatzpflicht begründet, anzurechnen ist.
3.3 Der Beschwerdeführer stellt sich auf den Standpunkt, es könne ihm kein Verschulden angelastet werden. Er bringt dazu im Wesentlichen vor, entgegen der Auffassung der Vorinstanz sei die Gesellschaft im Rahmen des Pauschalverfahrens durchaus berechtigt gewesen, geringere Pauschalzahlungen zu leisten, weshalb ihm die Nichtbezahlung einer Differenz anlässlich der Jahresabrechnung für 1996, und sei sie auch noch so hoch, nicht zum Vorwurf gemacht werden könne. Da zudem die Gesellschaft ihren Zahlungsverpflichtungen bis und mit Dezember 1996 nachgekommen sei, müsse der Exkulpationsgrund der kurzen Dauer des Beitragsausstandes berücksichtigt werden. Des Weiteren habe er die anderen Verwaltungsräte nicht nur überwacht, sondern sofort interveniert, als sie den delegierten Aufgaben nicht nachgekommen seien, weshalb denn auch auf seine Intervention hin die Pauschalbeiträge für November und Dezember 1996 überwiesen worden seien. Schliesslich habe er Verhandlungen zur Sanierung der Gesellschaft geführt.
3.4 Es trifft zwar zu, dass der Umstand allein, dass die Summe der in Rechnung gestellten Akontozahlungen die effektiv geschuldeten Beiträge nicht deckt, für sich allein weder der Gesellschaft noch dem subsidiär haftenden Organ als - qualifiziert schuldhafte - Verletzung von Vorschriften anzurechnen ist, wie es <ref-law> verlangt. Gemäss <ref-law> (in der bis 31. Dezember 2000 geltenden Fassung) erfolgt der Ausgleich zwischen den Akontozahlungen und den effektiv geschuldeten Beiträgen jeweils erst am Ende des Kalenderjahres. Vorbehältlich entsprechender Auflagen durch die Ausgleichskasse liegt im Unterlassen einer Anpassung der Beitragspauschale an die effektiven laufenden Lohnzahlungen keine Verletzung von Vorschriften im Sinne von <ref-law> (SVR 2003 AHV NR. 1 S. 3 Erw. 6a), es sei denn, der Arbeitgeber leiste eindeutig zu niedrige Akontozahlungen mit dem Ziel, die Fälligkeit der Beitragsschuld möglichst hinauszuschieben, und im Wissen, dass er anlässlich der Schlussabrechnung möglicherweise nicht in der Lage sein werde, die Restschuld zu begleichen (ZAK 1992 S. 247 Erw. 3b). Auch ist richtig, dass es für die Frage der Grobfahrlässigkeit im Rahmen des Pauschalabrechnungsverfahrens keine Rolle spielt, wie hoch die Differenz der Jahresschlussabrechnung ausgefallen ist (<ref-ruling> Erw. 2a; vgl. demgegenüber die per 1. Januar 2001 in Kraft stehende Fassung des <ref-law>, wonach die Arbeitgeber der Ausgleichskasse wesentliche Änderungen der Lohnsumme während des laufenden Jahres zu melden haben) und sich damit das verantwortliche Organ mit Blick auf ein Verschulden im Sinne von <ref-law> grundsätzlich nicht um eine gebotene Erhöhung der Pauschalzahlungen zu kümmern braucht, weil die Differenz Ende Jahr ausgeglichen wird.
Allerdings gilt dies nur für den Fall, da es um die Bezahlung der Schlussabrechnung allein geht, welche auf Grund mangelnder Rückstellungen nicht mehr beglichen werden konnte, beispielsweise, wenn die Schlussabrechnung nach Konkurseröffnung erfolgt und daraufhin der Differenzbetrag offen bleibt. Anders sieht die Situation aus, wenn die finanzielle Lage der Gesellschaft so schlecht ist, dass nicht nur die sich aus der Jahresschlussrechnung ergebende Differenz, sondern auch andere Beitragsrechnungen wie vorliegend weitere Pauschalrechnungen nicht mehr bezahlt werden können. Diesfalls muss den verantwortlichen Organen mangels weiterer Exkulpationgsgründe ein haftungsbegründendes Verschulden angerechnet werden. Mit anderen Worten hat sich ein verantwortliches Organ mit Blick auf ein Verschulden im Sinne von <ref-law> zwar im Verlaufe des Abrechnungsjahres nicht um die jeweilige Höhe der Pauschalen zu kümmern und die Nichtmeldung höherer Löhne darf ihm nicht zum Vorwurf gereichen. Kann die Gesellschaft dann aber neben der Schlussrechnung auch andere Beitragsausstände nicht mehr bezahlen, so muss der Verantwortliche dennoch (auch im Lichte des Grundsatzes, dass ein Betrieb nur so viel Lohn auszahlen darf, dass auch die darauf entfallenden Sozialversicherungsbeiträge gedeckt sind, vgl. SVR 2003 AHV Nr. 1 S. 4 Erw. 7a am Ende, 1995 AHV Nr. 70 S. 214) den Vorwurf gegen sich gelten lassen, sich nicht um die Höhe der im Laufe des Jahres ausbezahlten Löhne gekümmert und keine Rückstellungen getätigt zu haben.
Unter diesen Umständen kann dahingestellt bleiben, ob vorliegend die Gesellschaft allenfalls absichtlich eine Änderung in der Lohnstruktur und damit eine notwendige Erhöhung der Pauschalzahlungen nicht meldete, dies mit dem Ziel, die Fälligkeit der Beitragsschuld möglichst hinauszuschieben. Dem Beschwerdeführer ist es jedenfalls anzulasten, dass er die finanzielle Lage der Gesellschaft, insbesondere die Lohnsituation und eine voraussichtlich hohe, am Ende des Jahres zu begleichende Differenz zu den pauschalen Beitragszahlungen, während des Jahres nicht im Auge behielt. Dass er dazu als nicht geschäftsführendes Verwaltungsratsmitglied nicht verpflichtet war, ist nicht zu hören. Wie die Vorinstanz bereits zutreffend ausgeführt hat, hat der Beschwerdeführer die ihm als Verwaltungsrat obliegende Überwachungspflicht nicht erfüllt. Ein Grund, sich ohne eigene Überprüfung und ohne erfolgte Dokumentationen auf die Aussagen des geschäftsleitenden Verwaltungsratsdelegierten zu verlassen, und wie in der Verwaltungsgerichtsbeschwerde ausgeführt, darauf zu vertrauen, dass die von ihm verlangten Auskünfte der Wahrheit entsprachen, bestand auf Grund der gesetzlichen Pflichten eines Verwaltungsrats nicht. Es kann auf die diesbezüglichen Ausführungen der Vorinstanz verwiesen werden. Im Weiteren kann der Beschwerdeführer auch keine betrügerischen Machenschaften seiner Verwaltungsratskollegen geltend machen. Soweit er vorbringt, er sei über den Geschäftsverlauf systematisch falsch orientiert worden, kann er daraus nichts zu seinen Gunsten ableiten, liegen doch keinerlei Hinweise für ein strafbares Verhalten vor (Urteil F. vom 25. Juli 2000, H 319/99), das es ihm verunmöglicht hätte, zu den notwendigen Informationen zu kommen. Entgegen der Auffassung des Beschwerdeführers trifft damit auch die Schlussfolgerung der Vorinstanz zu, wonach der Beschwerdeführer zwar anlässlich der negativen Ergebnisse der provisorischen Buchhaltungsprüfung im Dezember 1996 prompt reagiert und sofortige Sanierungsmassnahmen angeordnet, insgesamt aber zu lange zugewartet und sich leichtfertig auf die Prognosen der Geschäftsleitung verlassen habe.
Bei dieser Sachlage greift entgegen der Auffassung des Beschwerdeführers auch der Exkulpationsgrund der kurzen Dauer des Beitragsausstandes nicht. Zwar kann die relativ kurze Dauer des Beitragsausstandes gegen einen Normverstoss von einer gewissen Schwere sprechen; dabei ist aber immer eine Würdigung sämtlicher konkreten Umstände des Einzelfalles vorzunehmen. Die Frage der Dauer des Normverstosses ist somit ein Beurteilungskriterium, welches im Rahmen der Gesamtwürdigung zu berücksichtigen ist und in diesem Rahmen im Sinne der Rechtsprechung zu den Entlastungsgründen (<ref-ruling> f. Erw. 1b, 200 f. Erw. 1) zur Verneinung der Schadenersatzpflicht führen kann (<ref-ruling> Erw. 4b mit Hinweis). Der Ausstand von drei Pauschalbeiträgen, auf die sich der Beschwerdeführer zur Begründung des kurzen Beitragsausstandes beruft, führt deshalb nicht zwangsläufig zu einer Entlastung des verantwortlichen Organes. So wurde ein Organ einer GmbH unter Berücksichtigung eines solchen Beitragsausstandes zwar entlastet, dabei wurde indes neben der geringen Höhe des Schadensbetrages und der kurzen Dauer der Abrechnungspflicht der Gesellschaft auch berücksichtigt, dass der Geschäftsführer selbst durch Bilanzdeponierung den Konkurs einleitete und so grösseren Schaden verhinderte (Urteil M. vom 2. Juli 2003, H 179/01; vgl. demgegenüber die Annahme eines Verschuldens im Zusammenhang mit einer zu spät abgelieferten Lohnbescheinigung und erfolgten Mahnungen für Beiträge im Urteil Z. vom 24. Dezember 2003, H 48/03). Hier kann, wie das kantonale Gericht ebenfalls zutreffend dargelegt hat und die Beschwerdegegnerin richtig vorbringt, nicht ausser Acht gelassen werden, dass neben den drei ausstehenden Beitragspauschalen auch die Schlussrechnung unbezahlt blieb, zudem Zahlungen verspätet erfolgten und die Ausgleichskasse mahnen und betreiben musste. Unter diesen Umständen kann sich der Beschwerdeführer nicht auf den Exkulpationsgrund der kurzen Dauer der Ausstände berufen.
Schliesslich wäre die Nichtbezahlung der Sozialversicherungsbeiträge einzig gerechtfertigt oder allenfalls entschuldbar gewesen, wenn damit die Existenz des Unternehmens hätte gerettet werden können oder mindestens im Zeitpunkt des Entscheides über die Nichtbezahlung - oder besser Rückstellung der Beiträge - auf Grund objektiver Umstände damit gerechnet werden durfte, die Forderung der Ausgleichskasse innert nützlicher Frist befriedigen zu können (<ref-ruling> Erw. 2, bestätigt in <ref-ruling>). Diese Voraussetzung ist im vorliegenden Fall nicht gegeben. Für eine solche Sanierungsaussicht liegen keinerlei Anhaltspunkte vor, wie das kantonale Gericht ausführlich dargetan hat, abgesehen davon, dass der Beschwerdeführer die diesbezüglich behaupteten, getätigten Verhandlungen für eine Sanierung durch nichts belegt.
3.5 Zusammenfassend ist deshalb von einem haftungsbegründenden qualifizierten Verschulden des Beschwerdeführers, wie es <ref-law> für die Schadenersatzverpflichtung verlangt, auszugehen, weshalb der angefochtene Entscheid rechtens ist.
3.5 Zusammenfassend ist deshalb von einem haftungsbegründenden qualifizierten Verschulden des Beschwerdeführers, wie es <ref-law> für die Schadenersatzverpflichtung verlangt, auszugehen, weshalb der angefochtene Entscheid rechtens ist.
4. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Ausgang des Verfahrens entsprechend gehen die Kosten zu Lasten des Beschwerdeführers (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 5000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Nidwalden, Abteilung Versicherungsgericht, und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 25. Oktober 2004
Im Namen des Eidgenössischen Versicherungsgerichts
Die Präsidentin der III. Kammer: Die Gerichtsschreiberin:
i.V.