A.- B._ war Verwaltungsratspräsident mit Einzelunterschrift der im Juli 1995 gegründeten und am 30. April 1997 in Konkurs gefallenen A._ AG; H._ war kollektivzeichnungsberechtigter Vizepräsident und Delegierter des Verwaltungsrats. Als Verwaltungsratsmitglieder amteten bis Juli 1996 W._ und ab Oktober 1996 K._, beide mit Kollektivunterschrift zu zweien. Mit Verfügung vom 4. Januar 1999 verpflichtete die Ausgleichskasse Nidwalden (nachfolgend: Ausgleichskasse) B._ zur Leistung von Schadenersatz in der Höhe von Fr. 122'472. 55 für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten). B.- Die auf Einspruch von B._ hin von der Ausgleichskasse gegen diesen eingereichte Klage hiess das Verwaltungsgericht des Kantons Nidwalden mit Entscheid vom 3. Januar 2000 (Versand: 6. November 2000) gut und verpflichtete B._ zur Bezahlung von Schadenersatz im verfügten Umfang. C.- Mit Verwaltungsgerichtsbeschwerde lässt B._ beantragen, unter Aufhebung des vorinstanzlichen Entscheides sei die Klage abzuweisen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während sich das Bundesamt für Sozialversicherung nicht vernehmen lässt.