A.- B._ war Verwaltungsratspräsident mit Einzelunterschrift der im Juli 1995 gegründeten und am 30. April 1997 in Konkurs gefallenen A._ AG; H._ war kollektivzeichnungsberechtigter Vizepräsident und Delegierter des Verwaltungsrats. Als Verwaltungsratsmitglieder amteten bis Juli 1996 W._ und ab Oktober 1996 K._, beide mit Kollektivunterschrift zu zweien. Mit Verfügung vom 4. Januar 1999 verpflichtete die Ausgleichskasse Nidwalden (nachfolgend: Ausgleichskasse) B._ zur Leistung von Schadenersatz in der Höhe von Fr. 122'472. 55 für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten).
B.- Die auf Einspruch von B._ hin von der Ausgleichskasse gegen diesen eingereichte Klage hiess das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 3. Januar 2000 (Versand: 6. November 2000) gut und verpflichtete B._ zur Bezahlung von Schadenersatz im verfügten Umfang.
C.- Mit Verwaltungsgerichtsbeschwerde lässt B._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei die Klage abzuweisen.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während sich das Bundesamt für Sozialversicherung nicht vernehmen lässt.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. BGE 119 V 80 Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
b) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
c) Im Rahmen von Art. 105 Abs. 2 OG ist die Möglichkeit, im Verfahren vor dem Eidgenössischen Versicherungsgericht neue tatsächliche Behauptungen aufzustellen oder neue Beweismittel geltend zu machen, weitgehend eingeschränkt.
Nach der Rechtsprechung sind nur jene neuen Beweismittel zulässig, welche die Vorinstanz von Amtes wegen hätte erheben müssen und deren Nichterheben eine Verletzung wesentlicher Verfahrensvorschriften darstellt (BGE 121 II 99 Erw. 1c, 120 V 485 Erw. 1b, je mit Hinweisen). Zwar ist der Verwaltungsprozess vom Untersuchungsgrundsatz beherrscht, wonach Verwaltung und Gericht von sich aus für die richtige und vollständige Abklärung des Sachverhalts zu sorgen haben; doch entbindet das die Rechtsuchenden nicht davon, selber die Beanstandungen vorzubringen, die sie anzubringen haben (Rügepflicht), und ihrerseits zur Feststellung des Sachverhalts beizutragen (Mitwirkungspflicht).
Unzulässig und mit der weit gehenden Bindung des Eidgenössischen Versicherungsgerichts an die vorinstanzliche Sachverhaltsfeststellung gemäss Art. 105 Abs. 2 OG unvereinbar ist es darum, neue tatsächliche Behauptungen und neue Beweismittel erst im letztinstanzlichen Verfahren vorzubringen, obwohl sie schon im kantonalen Beschwerdeverfahren hätten geltend gemacht werden können und - in Beachtung der Mitwirkungspflicht - hätten geltend gemacht werden müssen.
Solche (verspätete) Vorbringen sind nicht geeignet, die tatsächlichen Feststellungen der Vorinstanz als mangelhaft im Sinne von Art. 105 Abs. 2 OG erscheinen zu lassen (BGE 121 II 100 Erw. 1c, AHI 1994 S. 211 Erw. 2b mit Hinweisen).
2.- Die Vorinstanz hat die in materiellrechtlicher Hinsicht massgebenden Normen (Art. 52 AHVG, Art. 14 Abs. 1 AHVG in Verbindung mit Art. 34 ff. AHVV) und die Rechtsprechung zu den Voraussetzungen der Arbeitgeberorganhaftung, insbesondere zum Begriff der Grobfahrlässigkeit (siehe auch BGE 112 V 159 Erw. 4; ZAK 1988 S. 599 Erw. 5a), zur subsidiären Haftbarkeit der Organe (BGE 123 V 15 Erw. 5b), zur Haftungsvoraussetzung des qualifizierten Verschuldens (BGE 108 V 186 Erw. 1b, 193 Erw. 2b) sowie zum dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (BGE 108 V 202 Erw. 3a; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach Art. 52 AHVG, in: AJP 9/96, S. 1081) zutreffend wiedergegeben. Darauf wird verwiesen.
3.- Streitig und zu prüfen ist, ob und gegebenenfalls in welchem Umfang der Beschwerdeführer Schadenersatz zu leisten hat.
a) Hinsichtlich der Schadenshöhe hat der Beschwerdeführer bereits vor Vorinstanz eingewendet, weder die Verfügung noch die Klageschrift gäben näheren Aufschluss über die Zusammensetzung und die Grundlagen der angeblich nicht bezahlten Beitragsforderungen. Die blosse Eingabe der Forderung im Konkurs vermöge als rechtsgenüglicher Nachweis für Bestand und Höhe der Forderung ebenfalls nicht zu genügen.
Das kantonale Gericht hat dazu erwogen, die Schadenersatzforderung betrage gemäss Verfügung vom 4. Januar 1999 Fr. 122'472. 55 und umfasse neben Arbeitgeber- und Arbeitnehmerbeiträgen auch Verzugszinsen, Verwaltungskostenbeiträge, Veranlagungskosten und Mahngebühren. Dieser Betrag sei vom Beklagten in Bestand und Höhe pauschal bestritten worden. Inwiefern dieser Betrag nicht stimmen sollte, habe der Beklagte nicht dargetan. Der eingeklagte Betrag sei indessen in der Beitragsübersicht bzw. der Veranlagungsverfügung vom 1. Juli 1997 zahlenmässig ausgewiesen.
b) Der Schadenersatzprozess gemäss Art. 81 AHVV ist vom Untersuchungsgrundsatz beherrscht (Art. 81 Abs. 3 AHVV in Verbindung mit Art. 85 Abs. 2 lit. c AHVG), welcher besagt, dass der Richter von Amtes wegen für die richtige und vollständige Abklärung des rechtserheblichen Sachverhaltes zu sorgen hat (vgl. BGE 108 V 197 Erw. 5). Der Untersuchungsgrundsatz gilt aber nicht uneingeschränkt, sondern wird durch die verschiedenen Mitwirkungspflichten der Parteien ergänzt (BGE 122 V 158 Erw. 1a mit Hinweisen). Dazu gehört auch die Substanziierungspflicht, welche besagt, dass die wesentlichen Tatsachenbehauptungen und -bestreitungen in den Rechtsschriften enthalten sein müssen (Gygi, Bundesverwaltungsrechtspflege, 2. Aufl. , Bern 1983, S. 208).
Für die Ausgleichskasse bedeutet dies, die Schadenersatzforderung soweit zu substanziieren, dass sie überprüft werden kann. Dabei sind zwei Aspekte zu unterscheiden.
Einerseits hat die Ausgleichskasse den eingeklagten Forderungsbetrag zeitlich und masslich zu spezifizieren, also gestützt auf eine Beitragsübersicht zu behaupten, wie sich der eingeklagte Betrag zusammensetzt. Mit Blick auf das Verhältnis zwischen Untersuchungsgrundsatz und Mitwirkungspflicht genügt ein blosser Verweis in der Klage auf die Beitragsübersicht nur bei Evidenz, wenn also der Gesamtbetrag ohne weiteres aus der beigelegten Beitragsübersicht ersichtlich ist. Ist indessen nicht offensichtlich erkennbar, wie sich der Forderungsbetrag zusammensetzt, sei es wegen widersprüchlicher Saldi, unterschiedlich datierter Buchungen, schwankender Beiträge, Stornierungen oder Verrechnungen (z.B. mit FAK-Guthaben), ist es nicht Sache des angerufenen Gerichtes, selbst in EDV-Ausdrucken und Abrechnungen nach denjenigen Positionen zu forschen, welche für die Schadenshöhe von Belang sind, und zu eruieren, wie der Forderungsbetrag doch ermittelt werden könnte. Vielmehr hat die Ausgleichskasse im Rahmen ihrer Mitwirkungspflicht durch erläuternde Bezugnahme auf die Beitragsübersicht und andere von ihr eingereichte Akten darzutun, wie und gestützt worauf sie den Forderungsbetrag ermittelt hat.
Andererseits gehört zur Substanziierungspflicht auch, den eingeklagten Forderungsbetrag oder Teile davon zu belegen, also durch Einreichung von Lohnabrechnungen, Nachzahlungs- oder Veranlagungsverfügungen die in der Beitragsübersicht enthaltenen Zahlungsvorgänge zu beweisen.
Dies ist allerdings nur erforderlich, wenn die Forderung in der kantonalen Klageantwort masslich mit konkreten, nicht ohne weiteres widerlegbaren Einwendungen bestritten wird oder sich auf Grund der Akten greifbare Anhaltspunkte für Unrichtigkeiten ergeben (Urteil B. vom 13. Februar 2002, H 301/00).
c) Die der Forderungseingabe beigefügte Beitragsübersicht weist zwar einen Saldo in der Forderungshöhe von Fr. 122'472. 55 aus. Die Berechnungsgrundlagen der Forderung sind daraus indes nicht eindeutig ersichtlich. Auf Grund der Aktenlage, wie sie sich der Vorinstanz darbot, lässt sich die Höhe der Schadenersatzforderung rechnerisch insofern nicht nachvollziehbar überprüfen, als in der Beitragsübersicht auf der Haben-Seite ein Posten "Umbuchungen" in der Höhe von Fr. 18'917. 95 berücksichtigt wird, dessen Herkunft und Grundlage weder aus der Beitragsübersicht selbst noch aus den übrigen Akten ersichtlich ist. Die Rechnung vom 30. Juni 1997 enthält demgegenüber einen Posten "nicht bezahlte Rechnungen" in der Höhe von Fr. 154'921.-, der sich auch unter Beizug der Beitragsübersicht nicht erklären lässt, da dort nicht aufgeführt wird, wann vorher Rechnungen in welcher Höhe gestellt wurden und welche Rechnungen unbezahlt blieben, zumal auch die Lohnbescheinigungen der Jahre 1995 und 1996 in den Akten fehlen.
Unter diesen Umständen hätte die Vorinstanz weitere Abklärungen betreffend die Ermittlung der Schadenshöhe treffen müssen. Dies gilt umso mehr, als die Veranlagungsverfügung vom 1. Juli 1997 nach Konkurseröffnung erging, deshalb von den Organen der belangten Gesellschaft nicht mehr angefochten werden konnte und damit die Möglichkeit der masslichen Überprüfung durch den Richter gewahrt blieb (vgl. ZAK 1991 S. 126 Erw. II/1b). Indem die Vorinstanz dies unterlassen hat, hat sie den rechtserheblichen Sachverhalt im Sinne von Art. 105 Abs. 2 OG mangelhaft festgestellt, sodass die Sache zur weiteren Abklärung an sie zurückzuweisen ist. Dabei wird das kantonale Gericht insbesondere die Ausgleichskasse aufzufordern haben, alle weiteren sachbezüglich relevanten Unterlagen einzureichen und darzutun, wie sie den Schadensbetrag ermittelt hat.
Daran ändert im Übrigen nichts, dass der Beschwerdeführer in seiner Klageantwort an die Vorinstanz die Forderung pauschal bestritt, indem er ausführte, weder die Verfügung noch die Klageschrift gäben näheren Aufschluss über die Zusammensetzung und die Grundlagen der angeblich nicht bezahlten Beitragsforderungen. Soweit die eingeklagte Forderung hinreichend substanziiert ist, bleiben zwar unsubstanziierte Bestreitungen unberücksichtigt; demgegenüber darf das Gericht eine Klage, soweit sie nicht hinreichend substanziiert und nachvollziehbar ist, trotz ungenügend substanziierter oder gänzlich fehlender Bestreitung nicht ohne weiteres gutheissen (Urteil H. vom 7. Mai 2001, B 76/99, mit Hinweisen; vgl. SVR 1994 AHV Nr. 2 S. 3 Erw. 3).
4.- a) Streitig ist im Weiteren die Verschuldensfrage.
Wie sich aus der Beitragsübersicht ergibt, hat die Gesellschaft seit Dezember 1995 bis März 1997, also einen Monat vor Konkurseröffnung, stets monatliche Beitragszahlungen an die Ausgleichskasse in der Höhe zwischen Fr. 6364. 35 und Fr. 10'606. 35 geleistet, mit Ausnahme von Dezember 1996 und Januar 1997. Ab 20. Januar 1997 musste die Gesellschaft bis
23. April 1997 fünfmal gemahnt und am 14. März 1997 betrieben werden, bis sie am 30. April 1997 in Konkurs fiel.
Damit verstiess die Gesellschaft gegen die Beitragszahlungspflicht und missachtete Vorschriften im Sinne von Art. 52 AHVG. Zu prüfen bleibt, ob dieses Verschulden der Arbeitgeberin dem Beschwerdeführer anzurechnen ist.
Dazu ist festzuhalten, dass nach ständiger Rechtsprechung nicht jede Verletzung der öffentlich-rechtlichen Aufgaben der Arbeitgeberin als Institution der Versicherungsdurchführung ohne weiteres als qualifiziertes Verschulden ihrer Organe im Sinne von Art. 52 AHVG zu werten ist (BGE 108 V 186 Erw. 1b und 193 Erw. 2b; ZAK 1985 S. 576 Erw. 2 und 619 f. Erw. 3a). Das absichtliche oder grobfahrlässige Missachten von Vorschriften verlangt vielmehr einen Normverstoss von einer gewissen Schwere.
b) aa) Dem Beschwerdeführer kam schon auf Grund seiner Stellung in der Gesellschaft als im Handelsregister eingetragener Präsident des Verwaltungsrats formelle und materielle Organqualität zu, auch wenn sein effektiver Einfluss auf die Geschäftsführung gering gewesen sein sollte, wie er das mit Verweis auf die Aufgabenteilung zwischen ihm, H._ und K._ geltend macht. Er kann daher praxisgemäss als subsidiär haftendes Organ für den eingetretenen Schaden in Anspruch genommen werden (vgl. BGE 114 V 220 Erw. 3). Die geltend gemachte Arbeitsteilung kann höchstens bei der Prüfung von Exkulpationsgründen eine Rolle spielen. Es gilt deshalb weiter zu prüfen, ob ihm ein zumindest grobfahrlässiges Verhalten anzulasten ist.
Die Vorinstanz wirft ihm diesbezüglich in erster Linie vor, dass er sich trotz Wissen um die Beitragsausstände damit begnügt habe, die Geschäftsleitung zur Zahlung der Beiträge anzuweisen, sich aber nicht zu weiteren Handlungen veranlasst gesehen habe.
Demgegenüber macht der Beschwerdeführer als Exkulpations- oder Rechtfertigungsgründe geltend, er habe sich periodisch vom geschäftsführenden Verwaltungsratsdelegierten über den Geschäftsgang orientieren lassen, dessen Berichte stets ein positives Bild zeigten und für das Jahr 1996 zunächst einen Gewinn von Fr. 320'000.- in Aussicht gestellt hätten. Erst auf Grund der vorläufigen Prüfungsergebnisse der Revisionsstelle im Dezember 1996 habe er annehmen können, dass die Darstellung der Geschäftsleitung nicht dem tatsächlichen Geschäftsgang entsprach. Er sei daraufhin sofort tätig geworden und habe Informationen eingefordert.
Erst anlässlich der Verwaltungsratssitzung vom 18. Februar 1997 habe sich abgezeichnet, dass die Situation von der Geschäftsleitung zu optimistisch eingeschätzt worden war. Wie sich aus der Kreditoren-Aufstellung ergebe, seien indes die Rechnungen der Ausgleichskasse in diesem Zeitpunkt noch nicht fällig gewesen. Dennoch seien die geschäftsführenden Verwaltungsräte mehrmals auf die für AHV-Beiträge geltenden Ablieferungsvorschriften hingewiesen worden, so unter anderem mit dem ins Recht gelegten Schreiben vom 24. Februar 1997.
bb) Die Beurteilung der Frage, ob der Beschwerdeführer als verantwortliches Arbeitgeberorgan seinen Sorgfaltspflichten im Zusammenhang mit der Einhaltung der Beitragspflicht nachgekommen ist, also die verschuldensmässige Wertung der Beitragspflichtverletzung, hat in Würdigung der gesamten Umstände, die zum Zahlungsrückstand geführt haben, zu erfolgen.
Dabei ist nicht nur das Verhalten des Beschwerdeführers und seine Funktion in der Gesellschaft zu berücksichtigen.
Insbesondere von Bedeutung sind auch die Zahlungs- und Abrechnungsmodalitäten. So ist einmal wesentlich, ob das Pauschalabrechnungsverfahren durchgeführt wurde. Denn es entspricht gerade diesem Pauschalverfahren, dass der Arbeitgeber je nach den Umständen vorübergehend zu geringe oder zu hohe Zahlungen leistet. Daher berechtigt die Differenz zwischen der Summe der geleisteten Akontozahlungen und den für das Kalenderjahr tatsächlich geschuldeten Beiträgen, so bedeutend sie auch sein mag, nicht zum Vorwurf an den Arbeitgeber, er habe schwerwiegend gegen seine Obliegenheiten verstossen, indem er während des laufenden Jahres die Höhe der Zahlungen nicht an die steigende Lohnsumme angepasst oder nicht für eine bei der Endabrechnung verfügbare Rückstellung gesorgt habe (in SVR 1999 AHV Nr. 13 S. 38 veröffentlichte Erw. 2 von BGE 124 V 253; AHI 1993 S. 163, ZAK 1992 S. 247 Erw. 3b).
Dann ist relevant, ab wann die Gesellschaft ihren Zahlungspflichten nicht mehr nachgekommen ist, da eine kurze Dauer des Beitragsausstandes im Sinne der Rechtsprechung zu den Entlastungsgründen (BGE 108 V 186 f. Erw. 1b, 200 f.
Erw. 1) zur Verneinung der Schadenersatzpflicht führen kann, so in Fällen, in denen die Zahlungsmoral einer Gesellschaft bis kurz vor dem Konkurs, zum Beispiel für die letzten drei Monate (BGE 121 V 243 Erw. 4 und 5), immer klaglos war.
Vorliegend geht indes aus den Akten nicht hervor, ob das Pauschalverfahren durchgeführt wurde, zumal gemäss Beitragsübersicht im Jahr 1996 Zahlungen der Gesellschaft in unterschiedlicher Höhe erfolgten. Wie bereits festgestellt (vgl. Erw. 3c hievor) fehlen auch jegliche Angaben seitens der Ausgleichskasse darüber, wann sie der Gesellschaft vor der Konkurseröffnung welche Beiträge gestützt auf welche Periode in Rechnung gestellt hat. Damit bleibt nicht nur unklar, welche der aufgeführten Zahlungen welche Rechnung betrafen und für welche Rechnungen die Gesellschaft ab Januar 1997 gemahnt wurde. Es kann vielmehr auch der Grund für den hohen Beitragsausstand nicht eruiert werden, ob dieser wegen ungenügenden Akontozahlungen entstand (und diesfalls, weshalb viel zu niedrige Pauschalen abgerechnet wurden) oder weil etwa zufolge Revision nachträglich Beiträge aufgerechnet werden mussten (so werden in der Beitragsübersicht Revisionskosten aufgeführt; ein Revisionsbericht für das Jahr 1996 liegt jedoch nicht vor). Damit erweist sich auch diesbezüglich der Sachverhalt als unvollständig festgestellt.
Selbst wenn die vom Beschwerdeführer ins Recht gelegte Kreditorenaufstellung berücksichtigt wird, was, nachdem der Sachverhalt von der Vorinstanz unvollständig festgestellt wurde (vgl. Erw. 1c hievor), entgegen der Auffassung der Ausgleichskasse zulässig ist, ergibt sich daraus nur, dass eine Abrechnung 1996 über Fr. 72'849. 80 offenbar vom 3. Februar 1997 datiert. Dies lässt aber ebenfalls keine weiteren Rückschlüsse auf den Zahlungsverlauf zu, die eine abschliessende Verschuldensbeurteilung ermöglichen würden.
5.- Da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, ist das Verfahren kostenpflichtig (Art. 134 OG e contrario). Dem Ausgang des Prozesses entsprechend sind die Gerichtskosten von Fr. 5000.- der Beschwerdegegnerin aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG). Der Beschwerdeführer hat Anspruch auf eine Parteientschädigung (Art. 159 in Verbindung mit Art. 135 OG).
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird, soweit darauf
einzutreten ist, in dem Sinn gutgeheissen, dass der
Entscheid des Verwaltungsgerichts des Kantons Nidwalden
vom 3. Januar 2000 aufgehoben wird, und es wird
die Sache an die Vorinstanz zurückgewiesen, damit sie,
nach erfolgter Abklärung im Sinne der Erwägungen, über
die Schadenersatzklage neu entscheide.
II.Die Gerichtskosten von total Fr. 5000.- werden der Ausgleichskasse Nidwalden auferlegt.
III. Der Kostenvorschuss von Fr. 5000.- wird dem Beschwerdeführer
zurückerstattet.
IV.Die Ausgleichskasse Nidwalden hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 2500.-
(einschliesslich Mehrwertsteuer) zu bezahlen.
V.Dieses Urteil wird den Parteien, dem Verwaltungsgericht
des Kantons Nidwalden und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 13. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: