A.- Mit Verfügung vom 28. April 1998 verpflichtete die Ostschweizerische AHV-Ausgleichskasse für Handel und Industrie S._, den einzigen Verwaltungsrat der in Konkurs gefallenen X._ AG Fr. 51'465. 05 Schadenersatz für nicht entrichtete Sozialversicherungsbeiträge zuzüglich Verwaltungskosten und Mahngebühren zu leisten.
B.- Nach Einspruch von S._ erhob die Kasse Klage auf Bezahlung des genannten Betrages. Mit Entscheid vom 26. Oktober 1999 hiess das Versicherungsgericht des Kantons St. Gallen die Klage im Umfang von Fr. 44'346. 40 teilweise gut.
C.- S._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, es seien der kantonale Entscheid aufzuheben und die Klage der Kasse abzuweisen. Eventuell sei die Sache zu näheren Abklärungen an die Verwaltung zurückzuweisen.
Die Ausgleichskasse verzichtet auf eine Vernehmlassung und schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung äussert sich zur Sache, ohne einen Antrag zu stellen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Das kantonale Versicherungsgericht hat unter Hinweis auf Gesetz (<ref-law>) und Rechtsprechung (vgl.
statt vieler <ref-ruling> Erw. 5a) die Voraussetzungen zutreffend dargelegt, unter welchen Organe juristischer Personen den der Ausgleichskasse wegen Missachtung der Vorschriften über die Beitragsabrechnung und -zahlung (<ref-law>; <ref-law>) qualifiziert schuldhaft verursachten Schaden zu ersetzen haben. Darauf wird verwiesen.
3.- a) Die streitige Schadenersatzforderung beruht einerseits auf der nicht bezahlten Pauschale für das
2. Quartal 1997, anderseits auf zwei Nachzahlungsverfügungen vom 27. Oktober 1997. Die in diesen beiden Verfügungen nachgeforderten Beiträge gehen auf eine Arbeitgeberkontrolle zurück, bei welcher ausstehende Beitragszahlungen von 1993 bis 1997 entdeckt worden waren. Gemäss der Replik der Beschwerdegegnerin im kantonalen Verfahren war die in Konkurs gefallene Firma bis Ende 1995 der Ausgleichskasse des Kantons St. Gallen angeschlossen und wechselte am 1. Januar 1996 zur Beschwerdegegnerin. Demnach wurde die Schadenersatzverfügung hinsichtlich der bis Ende 1995 angefallenen Beiträge von einer unzuständigen Ausgleichskasse erlassen.
Die Beschwerdegegnerin war im kantonalen Prozess nur bezüglich desjenigen Teils der Schadenersatzforderung aktivlegitimiert, der auf den nach dem 1. Januar 1996 unbezahlt gebliebenen Beiträgen beruht (Knus, Die Schadenersatzpflicht des Arbeitgebers in der AHV, Diss. Zürich 1989 S. 25 f.; Nussbaumer, Die Ausgleichskasse als Partei im Schadenersatzprozess nach <ref-law>, in ZAK 1991 S. 385 f.). Dies führt indessen nicht ohne weiteres zur teilweisen Aufhebung der streitigen Verfügung und zur Rückweisung der Sache an die zuständige Ausgleichskasse. Denn alle Ausgleichskassen haben das selbe Recht anzuwenden und sind mit den gleichen Befugnissen ausgestattet, weshalb von einer unzuständigen Kasse erlassene Verfügungen nur selten mit derart offensichtlichen und leicht erkennbaren Mängeln behaftet sind, dass sie als nichtig zu erklären wären. Daher kann das Eidgenössische Versicherungsgericht auch in solchen Fällen die materielle Richtigkeit der Verfügung überprüfen (in <ref-ruling> nicht veröffentlichte Erw. 3; ZAK 1982 S. 84 f.
Erw. 3).
b) Da die Nachzahlungsverfügungen erst nach dem Konkurs der Firma ergangen sind, können sie rechtsprechungsgemäss im Schadenersatzprozess nach <ref-law> masslich überprüft werden (ZAK 1991 S. 126 Erw. II/1b).
4.- a) Der Beschwerdeführer und seine Ehefrau deklarierten während längerer Zeit jeweils nur bescheidene Entgelte als Löhne und rechneten darauf Sozialversicherungsbeiträge ab. Daneben bezogen beide jedoch namhafte Summen, welche sie auf einem Kontokorrent-Konto als Privatbezüge bzw. als Schulden gegenüber der Firma verbuchten. Bei der Arbeitgeberkontrolle vom 10. Oktober 1997 wurden diese Privatbezüge nachträglich als massgebender Lohn erfasst, wodurch entsprechende Sozialversicherungsbeiträge zur Nachzahlung anfielen.
b) Nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts sind die Organe der AHV ebenso wenig wie die Steuerbehörden verpflichtet, die zivilrechtliche Form, in der ein Sachverhalt erscheint, unter allen Umständen als verbindlich anzusehen. Dies gilt namentlich dann, wenn eine Beitragsumgehung vorliegt. Eine solche ist in Analogie zu den in der steuerrechtlichen Praxis und Doktrin (<ref-ruling> Erw. 4b mit Hinweisen) entwickelten Kriterien anzunehmen, wenn-die von den Beteiligten gewählte Rechtsgestaltung als ungewöhnlich, sachwidrig oder absonderlich, jedenfalls
den wirtschaftlichen Gegebenheiten völlig unangemessen
erscheint,-anzunehmen ist, dass diese Wahl missbräuchlich und lediglich
deshalb getroffen worden ist, um Beiträge einzusparen,
welche bei sachgemässer Ordnung der Verhältnisse geschuldet
wären,-und das gewählte Vorgehen tatsächlich zu einer erheblichen
Beitragsersparnis führen würde, wenn es von den Organen
der AHV hingenommen würde.
Sind diese drei Voraussetzungen erfüllt, so ist zu entscheiden, wie wenn die Umgehungshandlung nicht stattgefunden hätte (<ref-ruling> Erw. 4b), und der Beitragspflicht ist die Ordnung zugrunde zu legen, die sachgemäss dem vom Beitragspflichtigen erstrebten wirtschaftlichen Zweck entsprochen hätte.
c) Die Methode, sich das Geld der Firma statt als Lohn als Privatbezug auszahlen zu lassen und als Schuld gegenüber dem Betrieb zu verbuchen, diente, wie der Beschwerdeführer selber einräumt, dem Einsparen von Steuern und Sozialversicherungsbeiträgen.
Ein solches Vorgehen ist ungewöhnlich im Sinne der genannten Rechtsprechung. Die in Konkurs gefallene AG wäre verpflichtet gewesen, diese Bezüge von Anfang an als massgebenden Lohn zu behandeln.
d) Der Beschwerdeführer macht geltend, die Ausgleichskasse habe die Privatbezüge jahrelang unbeanstandet gelassen, weshalb sie einen Vertrauenstatbestand geschaffen habe.
Dieser Einwand geht indessen schon deshalb fehl, weil aus der Buchhaltung der Firma nicht ersichtlich war, weshalb ein Guthaben gegenüber dem Beschwerdeführer bestand.
Damit konnte kein Vertrauenstatbestand entstehen.
e) Richtig ist hingegen der Einwand des Beschwerdeführers, es seien nicht nur die Bezüge, sondern auch die von ihm auf das umstrittene Konto überwiesenen Einlagen zu berücksichtigen, mit andern Worten nicht die Brutto-, sondern nur die Nettobezüge als Lohn zu erfassen. In der Tat ist nicht ersichtlich, aus welchem andern Grund denn zum Ausgleich zu hoher monatlicher Bruttobezüge er sonst Einlagen auf das entsprechende Konto hätte leisten sollen. Diese Einlagen können auch nicht als Rückzahlung von Darlehen betrachtet werden, da es sich bei den Bruttobezügen gerade nicht um Darlehen, sondern um Lohn gehandelt hat.
f) Nach dem Gesagten wird die Sache an die Beschwerdegegnerin zurückgewiesen, damit sie die Beiträge, welche für die Zeit der Zugehörigkeit der in Konkurs gefallenen Firma bei ihr geschuldet sind, im Sinn der Erwägungen neu berechne.
In Bezug auf diese Beiträge ist der Schadenersatzanspruch ausgewiesen. Die Vorinstanz hat zutreffend erwogen, weshalb sich der Beschwerdeführer hier qualifiziert schuldhaft im Sinne von <ref-law> verhalten hat.
5.- a) Umstritten ist sodann eine Abrechnung vom 3. Februar 1997, worin der Beschwerdeführer für das Jahr 1996 eine Jahreslohnsumme von Fr. 65'825.- und für 1997 eine voraussichtliche Jahreslohnsumme von Fr. 40'000.- angegeben hat. Der Beschwerdeführer behauptet, die Zahl 40'000.- sei nachträglich im April 1997 auf Veranlassung der Revisionsstelle eingefügt worden, ohne dass er davon gewusst habe. Indessen hätte der Beschwerdeführer selbst dann, wenn ihm der Lohn seiner Ehefrau und sein eigener Verdienst am 3. Februar 1997 tatsächlich noch nicht bekannt gewesen wären, die mutmassliche Jahreslohnsumme für 1997 nicht einfach mit Null angeben (bzw. das entsprechende Feld auf dem Formular der Kasse leer lassen) dürfen. Es ist davon auszugehen, dass die Kasse die auf Grund der Lohnsumme von 1995 errechnete Rückerstattung vom 8. Februar 1997 (noch) nicht vorgenommen hätte, wenn der Beschwerdeführer für 1997 einen Lohnbetrag genannt hätte. Damit wäre ihr ein kleinerer Schaden entstanden, als er jetzt eingetreten ist.
b) Hinsichtlich der Beitragspauschale für das 2. Quartal 1997, welche auf Grund dieser unkorrekten Lohndeklaration erhoben wurde und die ebenfalls Bestandteil der Schadenersatzforderung bildet, kann offen bleiben, wann genau der Beschwerdeführer seine Lohnbezüge wirklich realisiert hat. Jedenfalls musste ihm im Zeitpunkt der Abschätzung des voraussichtlichen Lohnes 1997 bewusst sein, dass er 1996 wesentlich mehr bezogen hatte, als er für 1997 angab. Überdies muss sich die Kasse nicht entgegenhalten lassen, dass er statt eines Lohnes Privatbezüge tätigte, welche er als Schuld gegenüber der Firma verbuchte (Erw. 4c hievor). Der Beschwerdeführer vermag daher im Zusammenhang mit der Pauschale für das 2. Quartal 1997 nichts zu seinen Gunsten zu erwirken. Sein Verhalten ist als qualifiziert schuldhaft im Sinne von <ref-law> zu werten.
6.- Die auf die Beschwerdegegnerin entfallene Konkursdividende wurde von der Vorinstanz bereits berücksichtigt.
7.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Der Beschwerdeführer obsiegt in Bezug auf denjenigen Anteil des Schadenersatzes, welcher auf den Beiträgen der von Kontokorrent-Konto erhobenen Bezügen beruht. Es rechtfertigt sich daher, ihm bloss einen Fünftel der Gerichtskosten aufzuerlegen (Art. 156 Abs. 1 OG). Ferner hat die Beschwerdegegnerin ihm eine dementsprechend reduzierte Parteientschädigung zu bezahlen (Art. 159 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde
wird der Entscheid des Versicherungsgerichts
des Kantons St. Gallen vom 26. Oktober 1999 insoweit
aufgehoben, als der Beschwerdeführer verpflichtet wurde,
Schadenersatz für entgangene Beiträge, die auf den
im Kontokorrent-Konto verbuchten Bezügen erhoben worden
waren, zu bezahlen, und die Sache wird an die Ausgleichskasse
zurückgewiesen, damit sie im Sinne der
Erwägungen verfahre. Im Übrigen wird die Verwaltungsgerichtsbeschwerde
abgewiesen.
II.Die Gerichtskosten von total Fr. 3500.- werden zu einem Fünftel dem Beschwerdeführer und zu vier Fünfteln der Beschwerdegegnerin auferlegt. Der Anteil des
Beschwerdeführers ist durch den geleisteten Kostenvorschuss
gedeckt; der Differenzbetrag von Fr. 2800.- wird zurückerstattet.
III. Die Beschwerdegegnerin hat dem Beschwerdeführer für
das Verfahren vor dem Eidgenössischen Versicherungsgericht
eine Parteientschädigung von Fr. 2000.- (einschliesslich
Mehrwertsteuer) zu bezahlen.
IV.Das Versicherungsgericht des Kantons St. Gallen wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V.Dieses Urteil wird den Parteien, dem Versicherungsgericht
des Kantons St. Gallen und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 21. Dezember 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber:
i.V.