Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die gesetzlichen Bestimmungen über den Invaliditätsbegriff (Art. 4 IVG), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und Abs. 1bis IVG) zutreffend dargelegt. Darauf wird verwiesen.
2.- a) Nach dem Gutachten der Medizinischen Abklärungsstelle der Invalidenversicherung am Spital X._ (MEDAS) vom 9. Juni 1998 leidet der Beschwerdeführer an einem lumbovertebralen Schmerzsyndrom nach Diskushernienoperation L5 rechts am 18. Januar 1993, an Spondylolisthesis Grad I L5/S1 sowie an einer depressiven Entwicklung mit Anzeichen für langdauernde Persönlichkeitsveränderung bei chronischen Rückenschmerzen. Für körperlich belastende Tätigkeiten sei der Beschwerdeführer nicht einsatzfähig.
Für rückenadaptierte Tätigkeiten ohne regelmässiges Heben über 15 kg und mit der Möglichkeit des Positionswechsels wären orthopädischerseits keine Einschränkungen vorhanden, sodass dort nur mit der psychischen Einschränkung gerechnet werden müsse, welche in einer rückenadaptierten Tätigkeit 40 % betrage.
Gestützt auf dieses Gutachten ist das kantonale Gericht zum Schluss gelangt, der Beschwerdeführer sei in der Lage, eine leidensangepasste Tätigkeit zu 50 % zu verrichten, und könne damit, ausgehend von den Tabellenlöhnen, selbst bei Gewährung des höchstmöglichen Abzugs von 25 % (BGE 126 V 75) ein eine ganze Rente ausschliessendes Erwerbseinkommen erzielen. Dieser Betrachtungsweise ist unter Verweisung auf die vorinstanzlichen Erwägungen beizupflichten.
b) Der Beschwerdeführer beanstandet in der Verwaltungsgerichtsbeschwerde, dass das kantonale Gericht auf das erwähnte Gutachten der MEDAS abgestellt hat. Das psychiatrische Konsilium habe Dr. med. S._ durchgeführt.
Dieser Gutachter gehöre der serbischen Ethnie in Bosnien, der Beschwerdeführer selber der kroatischen an. Da sich die beiden Ethnien im Kriegszustand befanden und deren Animositäten bis heute nachwirkten, habe er eine Behandlung durch Dr. med. S._ mehrfach abgelehnt. Dessen Beurteilung unterscheide sich daher auch deutlich von den Beurteilungen anderer Psychiater. Damit sei klar erstellt, dass mindestens der Anschein der Befangenheit gegeben sei.
Entgegen der Auffassung des Beschwerdeführers liegt weder ein Grund vor, die Schlussfolgerungen des Psychiaters der MEDAS in Zweifel zu ziehen, noch bestehen Anhaltspunkte für dessen Befangenheit. Daran ändert auch nichts, dass der Beschwerdeführer den Gutachter mehrfach abgelehnt haben will. Das Eidgenössische Versicherungsgericht hat bereits wiederholt festgehalten, die Tatsache allein, dass Dr. med.
S._ ursprünglich aus Serbien stammt, reiche nicht für eine Befangenheit bei der Beurteilung von Versicherten anderer Ethnien aus dem früheren Jugoslawien aus (AHI 2001 S. 116; Urteile I. vom 27. August 2001 [I 644/99] und I.
vom 19. September 2000 [I 196/00]; nicht veröffentlichte Urteile K. vom 27. Juli 1999 [I 35/99], A. vom 30. April 1999 [I 57/99], X. vom 7. Mai 1999 [I 462/98] und H. vom 6. März 1998, [I 460/97]). Dr. med. S._ ist seit mehr als zehn Jahren Schweizer Bürger und praktiziert seit über 25 Jahren in der Schweiz. Sodann ergeben sich aus dem Gutachten keine Anhaltspunkte für fehlende Objektivität.
Ferner ist darauf hinzuweisen, dass auch Frau Dr. med.
M._, Sozialpsychiatrischer Dienst, im Bericht vom 15. Januar 1997, eine körperlich leichte und rückenschonende Arbeit während ca. vier Stunden täglich für zumutbar erachtet. Schliesslich deutet auch sonst nichts darauf hin, dass Dr. med. S._ dem Beschwerdeführer aus ethnischen Gründen ein diskriminierendes Gutachten hätte ausstellen wollen. Unter diesen Umständen besteht kein Anlass, eine nochmalige Begutachtung durchzuführen, zumal das MEDAS-Gutachten schlüssig, widerspruchsfrei und einleuchtend begründet ist.
c) Was den zweiten Einwand in der Verwaltungsgerichtsbeschwerde gegen den vorinstanzlichen Entscheid betrifft, wonach Teilerwerbstätige überdurchschnittlich weniger verdienten und damit der leidensbedingte Abzug nicht auf 25 % beschränkt werden dürfe, übersieht der Beschwerdeführer, dass das Eidgenössische Versicherungsgericht in BGE 126 V 75 den höchst zulässigen Abzug vom statistischen Lohn unter Berücksichtigung aller jeweils in Betracht fallenden Merkmale und unter Einschluss der Teilzeittätigkeit auf 25 % festgesetzt hat. An dieser Praxis hat es mit Urteil D. vom 27. November 2001 (I 82/01) festgehalten.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse des Kantons St. Gallen und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 14. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: