A.- B._, geboren 1962, arbeitete von Juni 1992 bis zu seiner Entlassung Ende August 1993 als Metallarbeiter für die Firma X._ AG. Am 14. April 1994 meldete er sich bei der Invalidenversicherung zur Umschulung an, worauf die IV-Stelle des Kantons St. Gallen einen Arbeitgeberbericht vom 4. Mai 1994 und einen Arztbericht des Dr. med. K._, Innere Medizin FMH, vom 29. April 1994 einholte. Nachdem mehrere berufliche Massnahmen erfolglos abgebrochen werden mussten, klärte die IV-Stelle die Rentenfrage ab und holte dazu einen weiteren Arztbericht des Dr. med. K._ vom 24. November 1997 sowie ein Gutachten der Medizinischen Abklärungsstelle der Invalidenversicherung (MEDAS) vom 21. August 1998 (inkl.
orthopädischem Konsilium vom 29. Juli 1998) ein. Nach durchgeführtem Vorbescheidverfahren lehnte die IV-Stelle mit Verfügung vom 3. Februar 1999 den Anspruch des B._ auf eine Rente der Invalidenversicherung ab, da er eine leichte, leidensangepasste Tätigkeit zu 70 % ausüben könne, was einen Invaliditätsgrad von 31 % ergebe.
B.- Die dagegen erhobene Beschwerde wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 29. März 2001 ab.
C.- B._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, unter Aufhebung des vorinstanzlichen Entscheides und der Verwaltungsverfügung sei ihm eine Invalidenrente gestützt auf einen Invaliditätsgrad von mindestens 50 % zu gewähren.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat den Invaliditätsbegriff (Art. 4 IVG), die Voraussetzungen für den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 1bis IVG) und die Bemessung des Invaliditätsgrades bei Erwerbstätigen anhand des Einkommensvergleichs (Art. 28 Abs. 2 IVG) zutreffend dargelegt.
Darauf kann verwiesen werden.
2.- Streitig ist die Bemessung des Invaliditätsgrades und dabei die Festsetzung der für den Einkommensvergleich nach Art. 28 Abs. 2 IVG massgebenden Einkommen, während die Einschränkung der Arbeitsfähigkeit aus psychischen Gründen in Höhe von 30 % gemäss dem überzeugenden Gutachten der MEDAS vom 21. August 1998 nicht zu beanstanden ist.
a) aa) Betreffend hypothetischem Einkommen ohne Gesundheitsschaden (Valideneinkommen) hat das kantonale Gericht auf den ungekürzten Lohn einer Verweisungstätigkeit abgestellt, da der letzte effektiv erzielte Lohn niedriger sei als das hypothetische Invalideneinkommen und die Bemessung des Invaliditätsgrades nicht durch invaliditätsfremde Faktoren verfälscht werden solle.
Der Beschwerdeführer ist demgegenüber der Ansicht, dass für das Valideneinkommen nicht der ungekürzte Tabellenlohn einer Verweisungstätigkeit, sondern der statistische Lohn der letzten effektiven Tätigkeit massgebend sei.
bb) Das Valideneinkommen ist in der Regel anhand des zuletzt effektiv verdienten Einkommens zu bestimmen (vgl.
Ulrich Meyer-Blaser, Bundesgesetz über die Invalidenversicherung, Zürich 1997, S. 205; Urteil G. vom 6. Dezember 2001, I 190/01), sodass auf die Angaben des Arbeitgebers vom 6. November 1998 abzustellen ist, wonach der Versicherte - mit seiner ungenügenden Qualifikation - einen Monatslohn von Fr. 3480.- erzielen würde, was einen Jahresverdienst in Höhe von Fr. 45'240.- ergibt. Ein wegen der geringfügigen Qualifikation deutlich unter den branchenüblichen Ansätzen liegendes Entgelt kann im Rahmen des Invalideneinkommens - nicht des Valideneinkommens - berücksichtigt werden (Erw. 2b/bb hienach; vgl. ZAK 1989, S. 458 f.
Erw. 3b).
b) aa) Die Vorinstanz hat das trotz Gesundheitsschädigung zumutbarerweise noch realisierbare Einkommen (Invalideneinkommen) anhand der - der Lohnentwicklung angepassten - Tabellenlöhne der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung festgesetzt, wobei sie die Arbeitsunfähigkeit von 30 % sowie einen behinderungsbedingten Abzug von 10 % berücksichtigt hat.
Der Versicherte will dagegen auf die (in der Regel tieferen) Tabellenlöhne der weiblichen Erwerbstätigen abstellen und einen behinderungsbedingten Abzug in Höhe von mindestens 15 % vornehmen; sollte auf Männerlöhne abgestellt werden, habe ein Abzug von 25 % zu erfolgen.
bb) Da der Beschwerdeführer keine Verweisungstätigkeit aufgenommen hat, ist praxisgemäss auf die Tabellenlöhne der Schweizerischen Lohnstrukturerhebung abzustellen (BGE 126 V 76 f. Erw. 3b/bb mit Hinweisen). Massgebend ist dabei der Sachverhalt zur Zeit des Verfügungserlasses im Jahre 1999 (BGE 121 V 366 Erw. 1b). Gemäss Tabelle A1 der Schweizerischen Lohnstrukturerhebung 1998 beträgt der Zentralwert für im privaten Sektor auf Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) bei einer wöchentlichen Arbeitszeit von 40 Stunden beschäftigte Männer monatlich Fr. 4268.- brutto. Dieser Betrag ist einerseits der Lohnentwicklung des Jahres 1999 anzupassen (0,3 %; Die Volkswirtschaft 12/2001, S. 81 Tabelle B 10.2) und andererseits auf die im Jahr 1999 betriebsübliche Wochenarbeitszeit von 41,8 Stunden (Die Volkswirtschaft 12/2001, S. 80 Tabelle B 9.2) aufzurechnen; dies ergibt einen Betrag von monatlich Fr. 4473. 45 resp. jährlich Fr. 53'681. 40. Da dem Versicherten diverse Hilfsarbeiterstellen offen stehen, ist auf den Zentralwert (und nicht eine branchenspezifische Zahl) abzustellen.
Weiter sind die Männerlöhne heranzuziehen (AHI 2000 S. 81 Erw. 2a); behinderungsbedingte Einschränkungen sind im Rahmen der Abzüge - und nicht in der Wahl der Frauenlöhne - zu berücksichtigen.
Dieser Tabellenlohn ist höher als derjenige, den der Beschwerdeführer ohne Gesundheitsschaden für die körperlich eher anstrengende Arbeit erzielt hat (vgl. Erw. 2a/bb hievor).
Sind keine Anhaltspunkte dafür ersichtlich, dass sich der Beschwerdeführer aus freien Stücken mit einem bescheideneren Einkommen begnügen wollte, als er hätte erzielen können (vgl. ZAK 1992 S. 92 Erw. 4a), und ist weiter anzunehmen, dass er angesichts seiner ungenügenden Qualifikation nicht Einkünfte in der Höhe des erhobenen Durchschnittslohnes erreichen könnte, kann - bei einer deutlichen Abweichung - dieser Durchschnittswert gemäss Rechtsprechung (vgl. ZAK 1989 S. 458 Erw. 3b; bestätigt im nicht veröffentlichten Urteil G. vom 24. September 1999, I 186/99) um den Prozentsatz gekürzt werden, um welchen der vom Versicherten vor Eintritt des Gesundheitsschadens erzielte Lohn unter dem durchschnittlich ausgerichteten Lohn lag. Wird nämlich bei der Bestimmung des hypothetischen Einkommens ohne Invalidität - wie hier - auf Lohnangaben einer Arbeitgeberfirma abgestellt, welche die ungenügende Qualifikation eines Angestellten bei der Entlöhnungsfrage anrechnete, was sich in einem deutlich unter den branchenüblichen Ansätzen liegenden Gehalt niederschlug, sollen diese invaliditätsfremden Faktoren auch bei der Festlegung des zumutbaren Invalidenlohnes nicht ausser Acht gelassen werden. Nur dadurch ist der Grundsatz gewahrt, dass die Invalidenversicherung für die auf invaliditätsfremde Gesichtspunkte zurückzuführenden Lohneinbussen nicht aufzukommen hat. Im Rahmen des Einkommensvergleichs sind daher die invaliditätsfremden Gesichtspunkte überhaupt nicht oder dann bei beiden Vergleichsgrössen gleichmässig zu berücksichtigen (ZAK 1989 S. 458 Erw. 3b mit Hinweisen; RKUV 1993 Nr. U 168 S. 103 f. Erw. 5b).
Der ohne Gesundheitsschaden als Hilfsarbeiter in der Metallverarbeitung erzielte Jahreslohn (Fr. 45'240.-; Erw. 2a/bb hievor) liegt um gut 16 % unter dem Durchschnittseinkommen gemäss der Lohnstrukturerhebung 1998 (Fr. 4343.- monatlich [Lohnstrukturerhebung 1998 Tabelle A1 Ziff. 27, 28 Anforderungsniveau 4], d.h. bei einer wöchentlichen Arbeitszeit von 41,6 Stunden [1999; Die Volkswirtschaft 12/2001, S. 80 Tabelle B 9.2, Zeile C-F] und einer Anpassung an die Lohnentwicklung für das Jahr 1999 [0,2 %; Die Volkswirtschaft 12/2001, S. 81 Tabelle B 10.2, Zeile D] Fr. 54'307. 95 jährlich). Es kann letztlich offen bleiben, ob diese Abweichung um 16 % vom Durchschnittseinkommen eine deutliche Abweichung darstellt (sodass eine Kürzung des Invalideneinkommens erfolgen kann), da auch bei Berücksichtigung dieser Abweichung (sowie allenfalls zusätzlich eines behinderungsbedingten Abzuges; vgl. Erw. 2b/cc hienach) kein rentenbegründender Invaliditätsgrad vorliegt. Wird nämlich für die Festlegung des Invalideneinkommens mit Rücksicht auf die invaliditätsfremden Faktoren ein um 16 % gekürzter Durchschnittslohn von Fr. 45'092. 35 (Fr. 53'681. 40 x 0,84) zu Grunde gelegt und wird berücksichtigt, dass der Versicherte nur zu 70 % arbeitsfähig ist, reduziert sich das massgebende Invalideneinkommen auf Fr. 31'564. 65 (Fr. 45'092. 35 x 0,70). Der Invaliditätsgrad beträgt somit 30,22 %.
cc) Es kann in der Folge zudem offen bleiben, ob zusätzlich ein behinderungsbedingter Abzug vorzunehmen ist, wie dies z.B. in ZAK 1989 S. 458 Erw. 3b gemacht worden ist oder ob diese behinderungsbedingten Abzüge nicht schon in der Berücksichtigung des unter dem Durchschnittslohn liegenden letzten effektiv erzielten Verdienstes enthalten sind. Denn auch bei Berücksichtigung eines solchen Abzuges vom Invalideneinkommen in Höhe von 10 % - dieser von der Vorinstanz vorgenommene Abzug würde in Anbetracht der Sachlage als angemessen erscheinen - liegt ein Invaliditätsgrad von 37,2 % vor, der nicht zu einer Invalidenrente berechtigt.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen, der Ausgleichskasse der Schweizer Maschinenindustrie und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 1. März 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: