A.- Mit Verfügung vom 4. Dezember 1996 verpflichtete die Ausgleichskasse des Kantons Zug F._ als ehemaliges Mitglied des Verwaltungsrats der konkursiten Firma I._ AG, nunmehr N._ AG, zur Bezahlung von Schadenersatz für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) im Betrag von Fr. 50'753. 70.
B.- Nachdem F._ Einspruch erhoben hatte, machte die Ausgleichskasse am 6. Februar 1997 ihre Forderung klageweise beim Verwaltungsgericht des Kantons Zug geltend und erhöhte mit Klageergänzung vom 6. Mai 1997 den Forderungsbetrag auf Fr. 96'922. -. Das Gericht hiess die Schadenersatzklage mit Entscheid vom 26. August 1999 insofern gut, als F._ für den der Ausgleichskasse entstandenen Schaden grundsätzlich als haftbar erklärt und die Angelegenheit zur masslichen Festlegung des Schadens an die Verwaltung zurückgewiesen wurde.
C.- Mit Verwaltungsgerichtsbeschwerde beantragt F._, der vorinstanzliche Entscheid sei aufzuheben und die Schadenersatzklage sei abzuweisen; eventuell sei die Schadenersatzpflicht in einem tieferen Betrag zu bejahen.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde und das Bundesamt für Sozialversicherung lässt sich nicht vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nichtum die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Im vorinstanzlichen Entscheid werden die nach <ref-law> und der Rechtsprechung für die Schadenersatzpflicht des Arbeitgebers und seiner Organe geltenden Grundsätze zutreffend dargelegt, sodass darauf verwiesen werden kann.
3.- Das kantonale Gericht hat der Ausgleichskasse zunächst zugebilligt, mittels Klageergänzung den nachträglich bekannt gewordenen Schaden (dabei handelt es sich insbesondere um die Beiträge für das Jahr 1995) in den bereits hängigen Prozess einzubringen. Dieses Vorgehen bemängelt der Beschwerdeführer zu Recht.
Zwar hat die Vorinstanz richtig erkannt, dass nach der Rechtsprechung die Kasse nach Ablauf der Frist des <ref-law> ihre Forderungen nicht mehr erhöhen kann (<ref-ruling> f. Erw. 6). Trotzdem hat sie - insbesondere gestützt auf zivilprozessuale Überlegungen - die Klageerhöhung zugelassen. Das massgebliche Verfahren richtet sich indessen nicht nach zivilprozessualen Regeln, sondern allein nach denjenigen über das Verfahren für die Deckung von Schäden gemäss <ref-law>. Dieses Verfahren hat die Ausgleichskasse auch dann anzuwenden, wenn sie im Laufe eines Schadenersatzprozesses entdeckt, dass sie den Schaden zu gering verfügt und eingeklagt hat. Die Differenz zwischen dem bereits eingeklagten und dem effektiv entstandenen Schaden muss sie gemäss Art. 81 Abs. 1 - 3 AHVV wiederum verfügen und bei Einspruch erneut einklagen. Zudem muss sie beachten, dass auch diese Differenzverfügung innert der Frist des <ref-law> zu erlassen ist (Knus, Die Schadenersatzpflicht des Arbeitgebers in der AHV, Diss ZH 1989, S.82ff. ).Daranändertnichts, dassdieBeschwerdegegnerininderSchadenersatzverfügung vom 4. Dezember 1996 die Forderung für die 1994 ausbezahlten Löhne beziffert und hinzugefügt hat "zuzüglich eines allfälligen Schadens betreffend Beiträge 1995". Sobald ihr dieser Schaden bekannt wurde, hätte sie - wie dargelegt - erneut verfügen müssen.
Aus <ref-ruling> ergibt sich nichts Gegenteiliges. In jenem Fall erging die Schadenersatzverfügung der Ausgleichskasse gegen drei Mitglieder des Verwaltungsrates der Firma. Alle erhoben Einsprache, wobei die Kasse lediglich gegen zwei Mitglieder klagte. Das Eidgenössische Versicherungsgericht erklärte, nach Ablauf der Klagefrist sei eine Klage gegen den Dritten verwirkt. Daraus kann nun nicht abgeleitet werden, ein Schadensbetrag, der nicht bekannt war und über den deshalb auch nicht verfügt werden konnte, könne nicht nachträglich verfügungsweise festgesetzt (innerhalb eines Jahres seit Kenntnis dieser Schadensdifferenz) und danach allenfalls eingeklagt werden.
Soweit sich die Verwaltungsgerichtsbeschwerde gegen die mittels Klageergänzung eingebrachte Forderung richtet, ist sie nach dem Gesagten gutzuheissen.
4.- Im Übrigen ist die Verwaltungsgerichtsbeschwerde abzuweisen. Zu Recht hat nämlich das kantonale Gericht den Beschwerdeführer grundsätzlich für haftbar erklärt. Die Grobfahrlässigkeit ist mit der Vorinstanz zu bejahen. Der Beschwerdeführer wiederholt zu einem grossen Teil die bereits vor Vorinstanz geltend gemachten und von dieser behandelten Gründe, weshalb kein haftungsbegründendes Verschulden gegeben sein soll. Es kann daher diesbezüglich auf die in allen Teilen überzeugende Begründung im vorinstanzlichen Entscheid verwiesen werden. Weshalb die Nichtrealisierung der Kaufverträge, die am 23. März und 27. Juni 1995 abgeschlossen wurden, wie auch die unvermittelte Kürzung des Kontokorrentes der Hausbank im Jahre 1995 daran etwas ändern könnten, ist nicht ersichtlich, da die ausstehenden Beiträge sich allesamt auf das Jahr 1994 beziehen. Der Beschwerdeführer war verpflichtet, die Abrechnung und Zahlung der Beiträge vierteljährlich vorzunehmen, das heisst, dass die Beiträge 1994 per Ende dieses Jahres hätten bezahlt sein müssen. Da mit Fr. 44'211. 20 (Fr. 50'753. 70 abzüglich der entgangenen Beiträge an die kantonale Familienausgleichskasse von Fr. 6542. 50) auch die kraft Bundesrechts geschuldete Schadenersatzforderung feststeht, erübrigt sich die Rückweisung der Sache an die Verwaltung zur masslichen Festlegung des Schadens.
5.- Entsprechend dem Verfahrensausgang haben die Parteien die Gerichtskosten anteilsmässig zu tragen (Art. 156 Abs. 3 OG) und hat der Beschwerdeführer Anspruch auf eine reduzierte Parteientschädigung (Art. 159 Abs. 3 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde wird der Entscheid des Verwaltungsgerichts des Kantons Zug vom 26. August 1999 dahingehend geändert, dass der Beschwerdeführer verpflichtet wird, der Ausgleichskasse des Kantons Zug den Betrag von Fr. 44'211. 20 zu bezahlen. Im Übrigen wird die Verwaltungsgerichtsbeschwerde abgewiesen.
II. Die Gerichtskosten von Fr. 4500. - werden zu 4/9 dem Beschwerdeführer und zu 5/9 der Ausgleichskasse des Kantons Zug auferlegt. Der auf den Beschwerdeführer entfallende Anteil ist durch den geleisteten Kostenvorschuss von Fr. 4500. - gedeckt; der Differenzbetrag von Fr. 2500. - wird zurückerstattet.
III. Die Ausgleichskasse des Kantons Zug hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von Fr. 1500. - (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Das Verwaltungsgericht des Kantons Zug wird über eine Neuverlegung der Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses zu befinden haben.
V.Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 20. März 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: