A.- Am 8. Mai 1991 sprach die Ausgleichskasse des Kantons Zürich dem angelernten Schweisser V._ (geboren 1949) mit Wirkung ab 1. Januar 1989 eine halbe einfache Invalidenrente nebst Zusatzrente für die Ehefrau und Kinderrenten zu, nachdem die IV-Kommission des Kantons Zürich einen Invaliditätsgrad von 50 % festgestellt hatte. Mit unangefochten in Rechtskraft erwachsener Verfügung vom 5. November 1996 hob die IV-Stelle des Kantons Zürich die Renten (inzwischen: ganze Ehepaarrente und Doppelkinderrente) auf den 31. Dezember 1996 wiedererwägungsweise auf. Mit Schreiben vom 9. Juni 1997 liess der Versicherte durch seinen Hausarzt, Dr. med. G._, Spezialarzt FMH für Innere Medizin, ein Gesuch um Neubeurteilung des Falles stellen, welches von der IV-Stelle mit Verfügung vom 5. August 1998 abgelehnt wurde.
B.- Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 17. März 2000 ab.
C.- Mit Verwaltungsgerichtsbeschwerde lässt V._ beantragen, der kantonale Gerichtsentscheid und die Verwaltungsverfügung vom 5. August 1998 seien aufzuheben und es sei ihm ab dem frühestmöglichen Zeitpunkt wieder eine seinem Invaliditätsgrad entsprechende Rente auszurichten; eventuell sei die Sache zwecks Vornahme weiterer Abklärungen und neuer Verfügung an die IV-Stelle zurückzuweisen.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung hat sich nicht vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die gesetzlichen Bestimmungen und die dazu ergangene Rechtsprechung betreffend den Invaliditätsbegriff (Art. 4 Abs. 1 IVG), den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und Abs. 1bis IVG) sowie die Ermittlung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (Art. 28 Abs. 2 IVG; <ref-ruling> Erw. 2a und b) zutreffend dargelegt, sodass darauf verwiesen wird. Das Gleiche gilt für die vorinstanzlichen Erwägungen zur Bedeutung ärztlicher Stellungnahmen (<ref-ruling>), zur Aufgabenteilung und Zusammenarbeit zwischen medizinischen Fachpersonen und Berufsberatung (SVR 2001 IV Nr. 10 S. 27 Erw. 1) und zum Begriff des ausgeglichenen Arbeitsmarktes (<ref-ruling>; AHI 1998 S. 291).
2.- Unbestritten und aufgrund der Akten nicht zu beanstanden sind die vorinstanzlichen Feststellungen, dass das Valideneinkommen mit Fr. 65'000.- zu veranschlagen ist und der Beschwerdeführer, dessen Arbeitsfähigkeit aus psychiatrischer Sicht nicht eingeschränkt ist, aus rheumatologischer Sicht für eine leichte, den Rücken nicht belastende Tätigkeit mit häufigen Positionswechseln, unter Vermeidung gebückter Körperhaltungen und ohne repetitives Heben von Lasten über 15 bis 20 kg voll arbeitsfähig ist. Hingegen rügt der Beschwerdeführer zum einen, es sei ungenügend abgeklärt worden, welche Arbeiten er wirklich verrichten könnte. Zum andern wendet er sich gegen die Berechnung des Invalideneinkommens unter Zugrundelegung der statistischen Löhne des privaten Sektors im Allgemeinen und vertritt die Auffassung, es dürften nur die statistischen Löhne des Dienstleistungssektors berücksichtigt werden.
3.- a) Die Rheumaklinik des Spitals X._ erachtete den Versicherten in ihrem Gutachten vom 23. März 1996 als zu 100 % arbeitsfähig für eine leichte rückenschonende Tätigkeit mit häufigen Positionswechseln unter Vermeidung gebückter Körperhaltungen, wobei Überkopfarbeiten und das Heben von Gewichten bis zu 20 kg möglich seien. Als Beispiele zumutbarer Tätigkeiten wurden die Arbeit als Hotelportier und Überwachungsarbeiten angeführt. Wenn die Berufsberatung der Invalidenversicherung in ihren Berichten vom 6. und vom 30. Mai 1996, ohne die rheumatologische Schätzung der Arbeitsfähigkeit in Frage zu stellen, eine praktische berufliche Abklärung für erforderlich hielt, so war dies darauf zurückzuführen, dass sie erstens den Bericht der Rheumaklinik dahin verstand, dass häufige Positionswechsel zu vermeiden seien, wohingegen der Versicherte erklärte, Wechselbelastung zu brauchen, dass sie zweitens die Meinung vertrat, auf dem freien Arbeitsmarkt seien geeignete Stellen schwerlich zu finden, und drittens an die Möglichkeit einer chronifizierten psychogenen Störung dachte.
b) Bei der von der Berufsberatung erwähnten Diskrepanz zwischen dem rheumatologischen Gutachten und den Aussagen des Beschwerdeführers handelt es sich nur um einen scheinbaren Widerspruch. Die missverständliche Formulierung auf S. 9 der rheumatologischen Expertise vom 23. März 1996, wonach der Patient für rückenschonende Tätigkeiten "unter Vermeidung von gebückten Körperhaltungen und häufigen Positionswechseln" zu 100 % arbeitsfähig sei, ist, wie aus den Ausführungen auf S. 8 der gleichen medizinischen Beurteilung ersichtlich ist, im Sinne einer rückenschonenden Tätigkeit mit häufigen Positionswechseln unter Vermeidung gebückter Körperhaltungen zu lesen. Sodann wurde der berufsberaterische Verdacht auf eine psychische Krankheit durch das Gutachten des Dr. med. S._, Spezialarzt für Psychiatrie und Psychotherapie, vom 7. Oktober 1997 entkräftet. Die von der Berufsberatung hinsichtlich der Wechselbelastung und des psychischen Gesundheitszustandes geäusserten Bedenken vermögen demnach nicht die Notwendigkeit einer praktischen beruflichen Abklärung zu begründen.
Die Berufsberatung vermochte denn auch am 29. Juni 1998, nachdem die Rheumaklinik des Spitals X._ in ihrem Bericht vom 23. April 1997 eine volle Arbeitsfähigkeit in einer leichten, den Rücken nicht belastenden Tätigkeit ohne repetitives Heben von Lasten über 15 bis 20 kg bestätigt und Dr. med. S._ in seinem Gutachten vom 7. Oktober 1997 eine Einschränkung der Arbeitsfähigkeit aus psychiatrischer Sicht verneint hatte, ein mögliches Betätigungsfeld im Bereich Montage zu nennen, wenn es sich auch bei den konkret ausgewählten DAP-Blättern jedenfalls nicht um hinreichend wechselbelastende Beschäftigungen handelte.
c) aa) Zwar hat die Verwaltung den Beschwerdeführer nur auf leichte Montagearbeiten - bei denen davon ausgegangen werden kann, dass es auch wechselbelastende Tätigkeiten gibt - verwiesen und dadurch die dem Versicherten offen stehenden Arbeitsgelegenheiten nur sehr rudimentär konkretisiert.
Beispiele weiterer zumutbarer Tätigkeiten (Hotelportier; Überwachungsarbeiten) werden indessen im Gutachten der Rheumaklinik des Spitals X._ vom 23. März 1996, dessen Arbeitsfähigkeitsschätzung im Bericht der gleichen Klinik vom 23. April 1997 bestätigt wird, bezeichnet.
Ausserdem ist aus der ärztlichen Umschreibung der Anforderungen an dem Versicherten zumutbare Erwerbstätigkeiten zu schliessen, dass dieser trotz der attestierten Einschränkungen noch über eine beträchtliche Restarbeitsfähigkeit verfügt, deren zumutbare Verwertbarkeit auf dem Arbeitsmarkt auch ohne ergänzende Abklärungen bejaht werden darf (SVR 2001 IV Nr. 10 S. 28 Erw. 4a). Obwohl es grundsätzlich der Verwaltung obliegt, konkrete Arbeitsmöglichkeiten zu bezeichnen, welche aufgrund der ärztlichen Angaben und unter Berücksichtigung der übrigen Fähigkeiten des Versicherten in Frage kommen, dürfen nämlich nicht übermässige Anforderungen an die Konkretisierung von Arbeitsgelegenheiten und Verdienstaussichten gestellt werden; die Sachverhaltsabklärung hat vielmehr nur so weit zu gehen, dass im Einzelfall eine zuverlässige Ermittlung des Invaliditätsgrades gewährleistet ist (AHI 1998 S. 290 f.), was vorliegend zutrifft. Hinsichtlich der Verweisungstätigkeiten ist in Anbetracht der rheumatologischen Gutachten nebst den bereits erwähnten Einsatzmöglichkeiten insbesondere an leichte Maschinenbedienung und leichte Sortier-, Prüf- und Verpackungsarbeiten zu denken (vgl. SVR 2001 IV Nr. 10 S. 28 Erw. 4a).
bb) Wenn auch in den verschiedenen erwähnten Tätigkeitsfeldern Arbeitsstellen anzutreffen sind, die wenig wechselbelastend sind, ein häufiges Heben schwerer Lasten erfordern und/oder teils in gebückter Stellung auszuführen sind, so kann doch nicht gesagt werden, die erforderlichen leichteren Arbeiten seien bloss noch theoretischer Natur und im als ausgeglichen unterstellten Arbeitsmarkt nicht mehr verbreitet (vgl. SVR 2001 IV Nr. 10 S. 28 Erw. 4a).
Dies gilt umso mehr, als in Industrie und Gewerbe Arbeiten, welche physische Kraft erfordern, in zunehmendem Mass durch Maschinen verrichtet werden, während den körperlich weniger belastenden Bedienungs- und Überwachungsfunktionen eine stetig wachsende Bedeutung zukommt (SVR 1999 IV Nr. 6 S. 15 Erw. 2b/aa). Da es sich demnach nicht um Tätigkeiten handelt, die nur in so eingeschränkter Form möglich sind, dass sie der allgemeine Arbeitsmarkt praktisch nicht kennt oder dass sie nur unter nicht realistischem Entgegenkommen eines durchschnittlichen Arbeitgebers möglich wären, es sich mithin nicht um realitätsfremde Einsatzmöglichkeiten handelt, ist mit der Vorinstanz davon auszugehen, dass es auf einem ausgeglichenen Arbeitsmarkt genügend der Behinderung des Versicherten angepasste Arbeitsgelegenheiten im Sinne von Art. 28 Abs. 2 IVG gibt (ZAK 1991 S. 320 Erw. 3b). Der Beschwerdeführer sei an dieser Stelle darauf hingewiesen, dass er bei der Suche nach einer geeigneten Beschäftigung die Arbeitsvermittlung durch die Invalidenversicherung in Anspruch nehmen kann (vgl. Art. 18 Abs. 1 IVG).
4.- a) aa) Mangels Ausübung einer Erwerbstätigkeit durch den Versicherten ermittelte das kantonale Gericht das Invalideneinkommen unbestrittenermassen zu Recht aufgrund der Tabelle A1 (monatlicher Bruttolohn [Zentralwert] nach Wirtschaftszweigen, Anforderungsniveau des Arbeitsplatzes und Geschlecht im privaten Sektor) der vom Bundesamt für Statistik herausgegebenen Schweizerischen Lohnstrukturerhebung (LSE) unter Zugrundelegung des vierten (niedrigsten) Anforderungsniveaus (einfache und repetitive Tätigkeiten), unter Aufrechnung von einer 40-Stundenwoche auf eine betriebsübliche durchschnittliche Arbeitszeit von 41,9 Wochenstunden und - da die in der massgebenden Tabelle angegebenen Bruttolöhne den 13. Monatslohn anteilmässig enthalten - unter Umrechnung des Monats- in das Jahreseinkommen mit dem Faktor 12 (vgl. <ref-ruling> f. und 81; LSE 1996 S. 5 und 17). Dabei ist entgegen der Auffassung des Beschwerdeführers nicht zu beanstanden, dass die Vorinstanz auf den entsprechenden Lohn des privaten Sektors im Allgemeinen und nicht spezifisch auf den Dienstleistungssektor abstellte. Die vorstehend erwähnten Verweisungstätigkeiten gehören nämlich (ebenso wie die vom kantonalen Gericht als zumutbar bezeichneten Stellen) teils dem Produktions-, teils dem Dienstleistungssektor an. Insbesondere kommen Überwachungsarbeiten in der Produktion in Form der Kontrolle weitgehend automatisierter Abläufe in Industriebetrieben vor, beschränken sich also nicht auf den Dienstleistungssektor.
bb) Geht man von der neuesten Erhebung (LSE 1998) aus, belief sich der monatliche Bruttolohn (Zentralwert) für die mit einfachen und repetitiven Tätigkeiten (TA 1, Anforderungsniveau 4) beschäftigten Männer im privaten Sektor bei einer wöchentlichen Arbeitszeit von 40 Stunden im Jahre 1998 auf Fr. 4268.-, was bei Annahme einer durchschnittlichen betriebsüblichen wöchentlichen Arbeitszeit von 41,9 Stunden für den für eine geeignete Tätigkeit voll arbeitsfähigen Beschwerdeführer ein Gehalt von monatlich Fr. 4471.- [Fr. 4268.- : 40 x 41,9] und jährlich Fr. 53'649.- [Fr. 4268.- : 40 x 41,9 x 12] ergibt.
b) aa) Der insgesamt zulässige Abzug vom statistischen Lohn, der bezweckt, ein Invalideneinkommen zu ermitteln, welches der im Einzelfall zumutbaren erwerblichen Verwertung der noch möglichen Verrichtungen im Rahmen der (Rest-)Arbeitsfähigkeit am besten entspricht, und dann erfolgen soll, wenn im Einzelfall Anhaltspunkte dafür bestehen, dass die versicherte Person wegen bestimmter einkommensbeeinflussender Merkmale (z.B. infolge behinderungsbedingter Einschränkungen) ihre (Rest-)Arbeitsfähigkeit auf dem allgemeinen Arbeitsmarkt nur mit unterdurchschnittlichem erwerblichem Erfolg verwerten kann, ist auf maximal 25 % beschränkt (<ref-ruling> Erw. 5).
bb) Welcher Abzug vom Tabellenlohn vorliegend zulässig und erforderlich ist, kann offen bleiben, weil der Beschwerdeführer selbst bei Vornahme des höchstmöglichen Abzuges von 25 % keinen rentenbegründenden Invaliditätsgrad, der mindestens 40 % betragen müsste (Art. 28 Abs. 1 IVG), aufweist. Bei einem Abzug von 25 % ergibt sich nämlich ein Invalideneinkommen von Fr. 40'237.- [Fr. 53'649.- x 75 %], sodass aus der Gegenüberstellung dieses Invalideneinkommens auf der einen und des Valideneinkommens von Fr. 65'000.- auf der andern Seite ein Mindereinkommen von Fr. 24'763.- und ein Invaliditätsgrad von rund 38 % [Fr. 24'763.- : Fr. 65'000.- x 100] resultieren.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 27. April 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin:
i.V.