A.- Die Firma X._ GmbH wurde im November 1996 gegründet. F._ war als Gesellschafter und Geschäftsführer mit Einzelunterschrift im Handelsregister eingetragen.
Als Gesellschafter ohne Zeichnungsberechtigung waren D._ und fünf weitere Personen (P._, C._, E._, G._, J._), alle mit einer Stammeinlage von Fr. 3'000.-, eingetragen. Nachdem die Gesellschaft auf die Aufforderungen der Ausgleichskasse des Kantons St. Gallen (nachfolgend: Ausgleichskasse) zur Anmeldung nicht reagiert hatte, wurde sie am 18. Februar 1997 zwangserfasst.
Am 23. September 1998 wurde über die Gesellschaft der Konkurs eröffnet. Der Ausgleichskasse wurde am 3. Juni 1999 ein Verlustschein über Fr. 38'556. 65 ausgestellt. Mit Verfügung vom 17. September 1999 verpflichtete die Ausgleichskasse D._ in solidarischer Haftbarkeit mit F._ zur Leistung von Schadenersatz in der Höhe von Fr. 38'746. 65 für entgangene Sozialversicherungsbeiträge (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten), davon Fr. 5'348. 25 für entgangene FAK-Beiträge. Dagegen liess D._ am 28. September 1999 Einspruch erheben.
B.- Die von der Ausgleichskasse gegen D._ eingereichte Klage vom 27. November 1997 hiess das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 26. Januar 2001 gut und verpflichtete D._ zur Bezahlung von Schadenersatz im Umfang von Fr. 38'486. 25.
C.- Mit Verwaltungsgerichtsbeschwerde lässt D._ beantragen, der angefochtene Entscheid sei aufzuheben und die Klage sei betreffend die bundesrechtliche Forderung von Fr. 33'138.- abzuweisen.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während sich das Bundesamt für Sozialversicherung nicht vernehmen lässt.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
b) Die Vorinstanz hat die in materiellrechtlicher Hinsicht massgebenden Normen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die Rechtsprechung zur subsidiären Haftbarkeit der Organe, insbesondere die auf die GmbH analog anwendbare (AHI 2000 S. 220) Rechtsprechung zur Aktiengesellschaft (<ref-ruling> Erw. 5b), zur Haftungsvoraussetzung des qualifizierten Verschuldens (<ref-ruling> Erw. 1b, 193 Erw. 2b) sowie bezüglich dem dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> Erw. 3a; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) zutreffend wiedergegeben. Darauf kann verwiesen werden.
2.- a) Wie das kantonale Gericht verbindlich festgestellt hat (vgl. Erw. 1a hievor), musste die konkursite Firma von der Ausgleichskasse zwangserfasst werden, nachdem sie sich auf deren Aufforderungen vom 14. November 1996 und
29. Januar 1997 nicht gemeldet hatte. Trotz entsprechender Mahnung und am 7. Juli 1997 verfügter Ordnungsbusse reichte sie die Lohnbescheinigung 1996 nicht ein. Nach Androhung einer Kontrolle an Ort und Stelle am 15. Dezember 1997 wurde die Lohnbescheinigung 1997 am 11. Februar 1998 eingereicht.
Wie die Vorinstanz weiter verbindlich festgehalten hat, hat die Gesellschaft lediglich Fr. 480.- für die Ordnungsbusse sowie für Mahn- und Betreibungskosten bezahlt; sämtliche paritätischen Beiträge blieben unbezahlt, obwohl 1997 Löhne von rund Fr. 230'000.- ausbezahlt wurden. Damit verstiess die Gesellschaft während der gesamten Dauer ihres Bestehens gegen die - in masslicher Hinsicht unbestrittene - Beitragszahlungs- und Abrechnungspflichten und missachtete dadurch Vorschriften im Sinne von <ref-law>. Das kantonale Gericht hat mit sorgfältiger und überzeugender Begründung, auf die verwiesen wird, dargelegt, dass dem Beschwerdeführer faktische Organstellung zukommt, und ihm deshalb zu Recht das Verschulden der Arbeitgeberin als grobfahrlässiges Verhalten angerechnet.
b) In der Verwaltungsgerichtsbeschwerde wird nichts vorgebracht, was die tatsächlichen Feststellungen als mangelhaft im Sinne von Art. 105 Abs. 2 OG oder die rechtliche Würdigung als bundesrechtswidrig erscheinen liesse.
Bezüglich seiner Organstellung macht der Beschwerdeführer auch in der Verwaltungsgerichtsbeschwerde widersprüchliche Angaben: Einmal gibt er an, bis zum Jahre 1998 sei F._ einzeln zeichnungsberechtigter Geschäftsführer neben C._ gewesen, ab jenem Datum habe er faktisch die Stellung eines Geschäftsführers gehabt, ohne als solcher eingetragen gewesen zu sein. Andererseits bestreitet er pauschal, Geschäftsführungsfunktionen innegehabt zu haben. Wie die Vorinstanz zutreffend festgestellt hat, ist auf Grund der Akten von der faktischen Organstellung des Beschwerdeführers auszugehen, insbesondere auch bezüglich des Beitragswesens, hat doch er unter anderem die Lohnbescheinigung 1997 eingereicht. Die faktische Organstellung ergibt sich auch aus dem Schreiben an C._ vom 10. März 1997.
Soweit der Beschwerdeführer zu seiner Rechtfertigung erneut vorbringt, es lägen Analogien zu <ref-ruling> f.
vor, weil er erhebliche Beiträge in die Firma habe einfliessen lassen, um den Konkurs der Firma abzuwenden, geht dieser Einwand in zweifacher Hinsicht fehl. Zum einen führt ein Hinausschieben der Beitragsleistungen zur Rettung der Gesellschaft praxisgemäss nur dann nicht zu einer Haftung gemäss <ref-law>, wenn der Arbeitgeber im Zeitpunkt seiner Entscheidung auf Grund der objektiven Umstände und einer seriösen Beurteilung der Lage damit rechnen durfte, dass er die Forderung der Ausgleichskasse innert nützlicher Frist würde befriedigen können. Von einem solchen Sachverhalt kann vorliegend keine Rede sein. Nachdem sich die Gesellschaft seit Beginn an nie um die Beitragspflicht kümmerte, sich sogar weigerte, überhaupt Lohnunterlagen einzureichen, kann nicht mehr angenommen werden, die Zahlung der Beiträge sei im Hinblick auf eine Sanierung der Gesellschaft aufgeschoben worden (ganz abgesehen davon, dass dann nur so viel Lohn zur Auszahlung hätte gelangen dürfen, als die darauf unmittelbar ex lege entstandenen Beitragsforderungen gedeckt gewesen wären, <ref-ruling> Erw. 2a; SVR 1995 AHV Nr. 70 S. 214 Erw. 5). Vielmehr hat sich die GmbH um die Bezahlung der Beiträge schlicht nicht gekümmert. Zum andern vermag es den Beschwerdeführer nicht zu entlasten, dass er private Mittel in die Firma eingebracht hat, weil daraus kein Bemühen, die Beitragszahlungs- und Ablieferungspflicht rechtzeitig zu erfüllen, ersichtlich ist; bei den behaupteten Zuschüssen ist schon die Begründung der tatsächlichen Bezahlung nicht nachvollziehbar (vgl. dazu die geltend gemachte Zahlung an die Firma S._ von Fr. 140'000.-, "in monatlichen Raten zu Fr. 100.-"). Es zeigt sich auch darin, dass die Beitragspflicht vernachlässigt wurde, nachdem mit den behaupteten eingeschossenen Geldern offenbar nur andere Gläubiger befriedigt wurden, an die offenen Beiträge indes nichts bezahlt wurde. Die Vorinstanz hat deshalb über die geltend gemachten Beträge aus privaten Mitteln zu Recht keinen Beweis abgenommen.
c) Schliesslich sind unter den gegebenen Umständen auch keine Gründe ersichtlich, welche im Sinne von <ref-ruling> Erw. 3c zu einer Herabsetzung des Schadenersatzes wegen Mitverschuldens der Verwaltung führen könnten. Es kann der Beschwerdegegnerin kein Vorwurf gemacht werden, dass für das laufende Jahr 1997 keine Pauschalabrechnungen erstellt wurden, nachdem die Gesellschaft im Februar 1997 zwangserfasst werden musste und sie auch auf Mahnungen sowie eine Ordnungsbusse hin keine Angaben über beitragspflichtige Löhne machte. Die Fakturierung der gesamten Beiträge 1997 erfolgte korrekterweise sofort nach Einreichung der entsprechenden Schlussabrechnung.
3.- Da es im vorliegenden Fall nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht, sind Verfahrenskosten zu erheben (Art. 134 OG e contrario).
Diese hat der vollständig unterliegende Beschwerdeführer zu tragen (Art. 156 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Die Gerichtskosten von total Fr. 3'000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 8. Oktober 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: