A.- Mit Verfügung vom 28. Januar 2000 verpflichtete die Ausgleichskasse des Kantons St. Gallen den im Handelsregister mit Einzelzeichnungsberechtigung für die in Konkurs gefallene Firma X._ AG eingetragenen R._, für nicht mehr erhältliche Sozialversicherungsbeiträge zuzüglich Betreibungskosten, Verzugszinsen und Mahngebühren Schadenersatz im Ausmass von Fr. 20'731. 45 zu leisten.
B.- Nach Einspruch von R._ klagte die Kasse auf Bezahlung von Fr. 18'023. 95. Mit Entscheid vom 9. Februar 2001 hiess das Versicherungsgericht des Kantons St. Gallen die Klage teilweise gut und verurteilte R._, der Ausgleichskasse Fr. 2934. 25 zu entrichten.
C.- Die Ausgleichskasse führt Verwaltungsgerichtsbeschwerde mit dem Antrag, R._ sei zu einer Zahlung von Fr. 9099. 80, eventuell Fr. 7974. 25 zu verpflichten.
Subeventuell sei der kantonale Entscheid insoweit aufzuheben, als R._ darin eine Parteientschädigung von Fr. 1200.- zugesprochen werde.
R._ lässt auf Abweisung der Verwaltungsgerichtsbeschwerde schliessen, das Bundesamt für Sozialversicherung (BSV) hingegen auf deren Gutheissung. Das kantonale Versicherungsgericht äussert sich zur Sache, ohne einen Antrag zu stellen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (vgl. <ref-ruling> Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
Demzufolge kann das von der Vorinstanz festgestellte Guthaben der Arbeitgeberfirma an kantonalrechtlichen Kinderzulagen im Betrag von Fr. 4596. 05 zuständigkeitshalber nicht überprüft werden, und zwar auch nicht als Vorfrage, obwohl die Vorinstanz zulässigerweise eine Anrechnung dieses Guthabens an die Schadenersatzforderung gemäss <ref-law> vorgenommen hat.
2.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3.- Das kantonale Gericht hat unter Hinweis auf Gesetz (<ref-law>) und Rechtsprechung (<ref-ruling> Erw. 5b) die Voraussetzungen richtig dargelegt, unter welchen Organe juristischer Personen den der Ausgleichskasse wegen Verletzung der Vorschriften über die Beitragsabrechnung und -zahlung (<ref-law>; <ref-law> in der bis
31. Dezember 2000 geltenden Fassung) qualifiziert schuldhaft verursachten Schaden zu ersetzen haben. Zutreffend wiedergegeben ist auch die Rechtsprechung zum Organbegriff (<ref-ruling>, 216). Darauf wird verwiesen.
4.- a) Die Vorinstanz hat richtig festgestellt, dass die in Konkurs gefallene Firma ihre Beiträge quartalsweise im Pauschalverfahren abliefern durfte. Ferner trifft zu, dass der Beschwerdegegner für die Ausstände des Jahres 1998 nur soweit haftet, als sie bis zu seinem Austritt fällig geworden sind, d.h. nur für die ersten drei Quartale dieses Jahres.
Sodann erwog das kantonale Gericht, die Pauschalen für diese drei Quartale seien höher gewesen als die Beiträge, welche auf Grund der in den genannten neun Monaten ausgerichteten Löhne effektiv geschuldet waren. Daraus schloss die Vorinstanz, dass nicht die ausstehenden Pauschalen, sondern lediglich die niedrigeren, wirklich angefallenen Beiträge für Januar bis September 1998 als Schaden im Sinne von <ref-law> zu ersetzen seien. Dazu stützt sich das kantonale Gericht auf ein Urteil des Eidgenössischen Versicherungsgerichts vom 10. Mai 1999 in Sachen F.
(H 362/98), worin diese Auffassung bestätigt worden sei.
Dem widersprechen die Beschwerde führende Ausgleichskasse und das BSV, welche einwenden, es seien die Pauschalen und nicht die tatsächlich angefallenen Beiträge geschuldet.
Die Arbeitgeber müssten die Pauschalen auch dann entrichten, wenn sie höher als die effektiven Beiträge seien.
Bei zu tiefen Pauschalen dürfe die Ausgleichskasse umgekehrt bis zum Vorliegen des Jahresabschlusses auch keine höheren Ratenzahlungen einfordern.
b) Soweit sich die Vorinstanz auf das erwähnte Urteil F. beruft, geht ihre Argumentation fehl. Zwar hat das kantonale Gericht in jenem Prozess ebenfalls die effektiv angefallenen Beiträge und nicht die höheren Pauschalen als Schadenersatz bezeichnet. Doch auf die vorliegend streitige Frage, ob die Pauschalen oder die tatsächlichen Beiträge als Schaden zu betrachten seien, ist das Eidgenössische Versicherungsgericht in jenem Urteil nicht eingegangen, da das Massliche des Schadenersatzes dort nicht streitig war.
Diese Frage ist erst jetzt zu beantworten.
c) aa) Der Schaden der Ausgleichskasse entsteht nicht schon mit der Fälligkeit der Beiträge, sondern erst in dem Zeitpunkt, in welchem anzunehmen ist, dass die geschuldeten Abgaben aus rechtlichen oder tatsächlichen Gründen nicht mehr erhoben werden können, sei es durch Eintritt der Beitragsverwirkung, sei es durch Zahlungsunfähigkeit des Arbeitgebers (Nussbaumer, Die Haftung des Verwaltungsrats nach <ref-law>, in AJP 1996 S. 1076 mit Hinweisen). Im vorliegenden Fall entstand der Schaden somit nicht quartalsweise, sondern erst, als die Uneinbringlichkeit der ausstehenden Beiträge feststand. Die in diesem Moment verbliebenen Ausstände stellen die betragsmässig obere Grenze der Schadenersatzforderung dar.
bb) Ein Organ haftet, sofern die entsprechenden Voraussetzungen gegeben sind, höchstens für denjenigen Schaden, der auf den bis zu seinem Austritt fällig gewordenen Beiträgen beruht. Soweit es während seiner Amtsdauer für die Zahlung der Abgaben besorgt gewesen ist, konnte kein Schaden entstehen. Blieb das Organ statt dessen untätig, hat es einen Schaden verursacht. Im Pauschalverfahren ist es Aufgabe des zuständigen Organs, im Laufe des Geschäftsjahres die vereinbarten Pauschalen rechtzeitig zu begleichen.
Die genaue Abrechnung für das laufende Jahr erfolgt am Ende des Kalenderjahres. Tritt ein Organ vor Ablauf des Kalenderjahres zurück, haftet es demzufolge für die bisher verfallenen Pauschalen, nicht jedoch für die erst nachträglich zu ermittelnden, effektiven Beiträge. Demnach kann der Vorinstanz, welche die zu den bisher fällig gewordenen Pauschalen zeitlich kongruenten wirklich angefallenen Beiträge als massgebenden Schaden erachtet, nicht gefolgt werden.
Soweit einer Firma die Abrechnung im Pauschalverfahren gestattet wird, liegt es in der Natur der Sache, dass Abweichungen der Pauschalen von den effektiv geschuldeten Beiträgen sowohl nach oben wie nach unten vorkommen. Bestehen erhebliche Differenzen, ist es dem Arbeitgeber unbenommen, bei der Ausgleichskasse eine Anpassung der Akontozahlungen nach unten oder gegebenenfalls nach oben zu beantragen (AHI 1993 S. 163; ZAK 1992 S. 246). Soweit er dies unterlässt, scheint es auch nicht unbillig, den Schadenersatz auf den Betrag der Akontozahlungen festzusetzen.
Der Beschwerdegegner hat somit die - in seinem Fall höheren - Pauschalen und nicht die von der Vorinstanz beigezogenen, zeitlich kongruenten effektiven Beiträge als Schaden zu ersetzen, zumal die Pauschalen den Gesamtschaden nicht übersteigen (Erw. 4c/aa).
5.- Zum Quantitativ ist ausgewiesen, dass - soweit bundesrechtliche Abgaben betreffend (Erw. 1 hievor) - die Beitragspauschalen für April bis Juni 1998 und Juli bis September 1998 (jeweils zuzüglich Verzugszinsen, Mahngebühren und Betreibungskosten) sowie Nachbelastungen für 1997 im Total von Fr. 18'023. 95 ausstehend sind, von welchen nach Abzug der Zahlung eines Solidarschuldners von Fr. 8924. 15 noch eine Forderung von Fr. 9099. 80 ungedeckt geblieben ist. Nun hat die Vorinstanz bei der Berechnung des Schadens auf Grund der effektiv geschuldeten Beiträge zu Gunsten des Beschwerdegegners eine Summe von Fr. 4596. 05 an zu viel bezahlten Abgaben für die Familienausgleichskasse berücksichtigt. Diese Verrechnung ist an sich zulässig.
Sie wird jedoch von der Beschwerdeführerin mit der Begründung bestritten, auf den entsprechenden Löhnen habe kein Anspruch auf Kinderzulagen bestanden, weshalb auch keine solchen verrechnet werden könnten. Diesen Einwand kann das Eidgenössische Versicherungsgericht zuständigkeitshalber nicht überprüfen (Erw. 1 hievor), womit es bei dem von der Vorinstanz verrechneten Betrag von Fr. 4596. 05 sein Bewenden haben muss. Damit ergibt sich, dass der Beschwerdegegner der Ausgleichskasse einen Schaden von Fr. 4503. 75 (9099. 80 - 4596. 05) zu ersetzen hat.
6.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Nach dem Gesagten obsiegt die Beschwerdeführerin teilweise, indem ihr ein höherer Schadenersatzbetrag zugesprochen wird, nicht jedoch die volle, in der Verwaltungsgerichtsbeschwerde einverlangte Summe. Es rechtfertigt sich deshalb, die Gerichtskosten je hälftig auf Beschwerdeführerin und Beschwerdegegner zu verlegen (Art. 156 Abs. 1 und 3 OG). Da der Beschwerdegegner seinerseits ebenfalls teilweise obsiegt, steht ihm für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine reduzierte Parteientschädigung zu (Art. 159 Abs. 1 und 3 OG). Sodann wird die Vorinstanz die dem Beschwerdegegner zustehende Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen Prozesses neu festsetzen.
Dabei wird sie entgegen dem Eventualantrag der Beschwerdeführerin von einem teilweisen Obsiegen des entschädigungsberechtigten Beschwerdegegners auszugehen haben.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In teilweiser Gutheissung der Verwaltungsgerichtsbeschwerde,
soweit darauf einzutreten ist, wird Dispositiv-Ziffer
1 des Entscheides des Versicherungsgerichts
des Kantons St. Gallen vom 9. Februar 2001 insoweit
abgeändert, als der Beschwerdegegner verpflichtet
wird, der Beschwerdeführerin Schadenersatz im Betrag
von Fr. 4503. 75 zu bezahlen.
II.Die Gerichtskosten von total Fr. 900.- werden den Parteien je zur Hälfte auferlegt. Der Anteil der Beschwerdeführerin ist durch den geleisteten Kostenvorschuss
gedeckt; der Differenzbetrag von Fr. 450.- wird ihr zurückerstattet.
III. Die Beschwerdeführerin hat dem Beschwerdegegner für
das Verfahren vor dem Eidgenössischen Versicherungsgericht
eine Parteientschädigung von Fr. 1000.- (einschliesslich
Mehrwertsteuer) zu bezahlen.
IV.Dispositiv-Ziffer 3 des angefochtenen Entscheids wird aufgehoben; das Versicherungsgericht des Kantons St. Gallen wird über eine Parteientschädigung für das
kantonale Verfahren entsprechend dem Ausgang des
letztinstanzlichen Prozesses und im Sinne der Erwägungen
zu befinden haben.
V.Dieses Urteil wird den Parteien, dem Versicherungsgericht
des Kantons St. Gallen und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 5. Dezember 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber: