Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Sozialversicherungsgericht hat die gesetzlichen Bestimmungen und die dazu ergangene Rechtsprechung betreffend den Invaliditätsbegriff (<ref-law>), den Umfang des Rentenanspruchs (<ref-law>) sowie die Ermittlung des Invaliditätsgrads nach der Einkommensvergleichsmethode (<ref-law>; <ref-ruling> Erw. 2a, b) zutreffend dargelegt. Richtig sind auch die Ausführungen über die Bedeutung, welche den ärztlichen Stellungnahmen bei der Ermittlung des Invaliditätsgrads zukommt (<ref-ruling> Erw. 2, 114 V 314 Erw. 3c, 105 V 158 Erw. 1). Darauf kann verwiesen werden. Zu ergänzen ist, dass die Berufsberatung Aufgabe der IVStelle ist, nicht des begutachtenden Arztes oder der Ärztin. Zwischen diesen und den Fachleuten der Berufsberatung ist aber eine enge, sich gegenseitig ergänzende Zusammenarbeit erforderlich. Der Arzt oder die Ärztin sagen, inwiefern die versicherte Person in ihren körperlichen bzw. geistigen Funktionen durch das Leiden eingeschränkt ist, wobei es als selbstverständlich gilt, dass sie sich vor allem zu jenen Funktionen äussern, welche für die nach ihrer Lebenserfahrung im Vordergrund stehenden Arbeitsmöglichkeiten der versicherten Person wesentlich sind (so etwa, ob diese sitzend oder stehend, im Freien oder in geheizten Räumen arbeiten kann oder muss, ob sie Lasten heben und tragen kann). Die Fachleute der Berufsberatung dagegen sagen, welche konkreten beruflichen Tätigkeiten auf Grund der ärztlichen Angaben und unter Berücksichtigung der übrigen Fähigkeiten der versicherten Person in Frage kommen, wobei unter Umständen entsprechende Rückfragen beim Arzt oder der Ärztin erforderlich sind (<ref-ruling> Erw. b).
2.- Die Vorinstanz ist in Würdigung der medizinischen Unterlagen, insbesondere gestützt auf das Gutachten des Dr. B._ vom 5. Februar 1997, davon ausgegangen, der Beschwerdeführer könne zwar seine bisherige Tätigkeit als Lastwagenchauffeur eines Muldenkippers in einer Kiesgrube nicht mehr ausüben. Hingegen sei ihm eine leichte, körperlich wenig belastende, mit keinen wesentlichen Vibrationsbelastungen einhergehende und kein Fahren mit schlecht gefedertem Sitz erfordernde Tätigkeit mit Wechselbelastungen voll zuzumuten, dies mit der weiteren Einschränkung, dass repetitives Anheben von über zehn Kilogramm wiegenden Gegenständen die Arbeitsfähigkeit auf 50 % reduziere und das Heben von Lasten über 20 Kilogramm gänzlich ausgeschlossen sei.
Dieser Beurteilung der Restarbeitsfähigkeit durch die Vorinstanz ist beizupflichten, weil sie mit der medizinischen Aktenlage in Einklang steht und nichts vorliegt, was die Stellungnahme Dr. B._ zu erschüttern vermöchte.
3.- Zu prüfen ist weiter, wie sich diese Einschränkung der Arbeitsfähigkeit in erwerblicher Hinsicht auswirkt. Wie die Verwaltung ging die Vorinstanz davon aus, der Arbeitsmarkt biete dem Beschwerdeführer eine ausreichende Anzahl von dem Leiden angepassten Einsatzmöglichkeiten, in denen er 100 %ig arbeitsfähig sei, was ihm erlaube, ein Einkommen von Fr. 45'000.- im Jahr zu erzielen. Als Beispiele hatte die IV-Stelle drei Profile der internen Dokumentation Arbeitsplatz (DAP) genannt, nämlich Chauffeur (Abholen von Ersatzteilen, Überführen von Autos), Lagerhilfsmitarbeiter und Lagermitarbeiter Aussenverpackung. Die Vorinstanz erachtete weitere Arbeiten, namentlich im Dienstleistungssektor, als zumutbar, ohne indessen konkret solche Stellen zu bezeichnen. Bezüglich des dabei erzielbaren Einkommens verwies sie auf den in der Schweizerischen Lohnstrukturerhebung (LSE) 1996 des Bundesamtes für Statistik (BFS) in der Tabelle TA1 ausgewiesenen durchschnittlichen Verdienst von Männern im Dienstleistungssektor für einfache und repetitive Tätigkeiten.
Demgegenüber bestreitet der Beschwerdeführer, dass ein ausgeglichener Arbeitsmarkt für ihn nach seinen Kenntnissen und Fähigkeiten in Frage kommende wechselbelastende leichte Tätigkeiten ohne repetitives Heben von Lasten über zehn Kilogramm in ausreichender Anzahl bereithält. Zumindest müssten in diesem Punkt zusätzliche Abklärungen vorgenommen werden. Bei realistischer Betrachtungsweise biete der Arbeitsmarkt für ihn lediglich Stellen, in denen er entweder häufig Lasten über zehn Kilogramm heben oder aber einseitig belastende Arbeiten ausführen müsse. In derartigen Tätigkeiten jedoch betrage seine Leistungsfähigkeit aus ärztlicher Sicht unbestrittenerweise nur 50 %. Daher könne lediglich von einem Invalideneinkommen in der Höhe von Fr. 18'600.- ausgegangen werden.
4.- a) Der Berufsberater der IV-Stelle bestätigte am 30. April 1997 (unter Bezugnahme auf den Bericht vom 19. Juli 1996), dass die der DAP entnommenen Verweisungstätigkeiten als Chauffeur (Abholen von Ersatzteilen, Überführen von Autos), Lagerhilfsmitarbeiter und Lagermitarbeiter Aussenverpackung existieren und dem Beschwerdeführer angesichts seines Gesundheitszustandes und Leistungsvermögens uneingeschränkt zumutbar sind. Zwar fehlen in den Akten die Profile dieser Arbeitsplätze, sodass das Gericht deren Zumutbarkeit nicht überprüfen kann. Dies ist aber hier nicht entscheidend. Denn der Beschwerdeführer verfügt trotz der attestierten Einschränkungen noch über eine beträchtliche Restarbeitsfähigkeit, deren zumutbare Verwertbarkeit auf dem Arbeitsmarkt im von Verwaltung und Vorinstanz angenommenem Ausmass auch ohne ergänzende Abklärungen, z.B. der Einholung einer ergänzenden Stellungnahme des Berufsberaters, bejaht werden darf. Zu denken ist an Kurierfahrten, Überführen von Autos, Lenken von Reinigungsfahrzeugen, leichte Maschinenbedienung, Kontrollfunktionen, leichte Sortier-, Prüf-, Verpackungsarbeiten sowie leichtere Arbeiten im Bereich der (zum Teil maschinell, mit Hubstapler usw. unterstützten) Lager- oder Ersatzteilbewirtschaftung. Zwar ist dem Beschwerdeführer beizupflichten, dass in diesem Spektrum Arbeitsstellen anzutreffen sind, die ein häufigeres Heben auch schwererer Lasten erfordern und/oder wenig wechselbelastend sind. Indessen kann nicht gesagt werden, dies sei die Regel, sodass die aufgezeigten leichteren Arbeiten bloss noch theoretischer Natur und im als ausgeglichen unterstellten Arbeitsmarkt (<ref-law>) nicht mehr verbreitet wären.
b) Bei dieser Beweislage ist dem Eventualantrag auf Rückweisung zu ergänzenden Abklärungen nicht stattzugeben. Ebenso wenig besteht letztinstanzlich hinreichender Anlass für weitere Abklärungen in dieser Richtung. Eine solche antizipierte Beweiswürdigung ist zulässig und verstösst insbesondere nicht gegen Verfassungsrecht, wie die ständige Rechtsprechung zu Art. 4 Abs. 1 aBV zeigt (<ref-ruling> Erw. 4b, 122 V 162 Erw. 1d mit Hinweis). Diese Rechtsprechung gilt auch unter der Herrschaft von Art. 29 Abs. 2 der auf den 1. Januar 2000 in Kraft getretenen neuen BV, welche Bestimmung betreffend den verfassungsmässigen Anspruch auf rechtliches Gehör keine beweisrechtlich erheblichen Änderungen bringt. Daher kann vorliegend offen bleiben, in welchen Rechtsanwendungslagen die neue BV intertemporalrechtlich zum Zuge kommt.
5.- Zu beurteilen ist sodann, welche Einkünfte der Beschwerdeführer bei vollschichtiger Verrichtung der oben aufgezeigten Verweisungstätigkeiten durchschnittlich zu erreichen vermöchte. Zu diesem Zweck ist von der LSE 1996 des BFS auszugehen.
Wie erwähnt (Erw. 3), zog das kantonale Gericht diesbezüglich die statistischen Werte "nach Wirtschaftszweigen, Anforderungsniveau des Arbeitsplatzes und Geschlecht" im privaten Sektor (Tabelle TA1) für einfache und repetitive Tätigkeiten bei. Das ist im Grundsatz zutreffend. Die weitere vorinstanzliche Ermittlung des Invalideneinkommens vermag in diesem Punkt hingegen nicht zu überzeugen.
a) Bei der Anwendung der Tabellenlöhne gemäss der LSE ist zu beachten, dass der vom kantonalen Gericht verwendeten Tabelle eine Arbeitszeit von 40 Wochenstunden zu Grunde liegt. Indessen kann die betriebsübliche wöchentliche Arbeitszeit davon abweichen (LSE 1994 S. 42), was ein entsprechendes Umrechnen des tabellarisch ausgewiesenen Einkommens zur Folge hat (<ref-ruling> Erw. 3b/bb). Sodann sind der 13. Monatslohn sowie allfällige Sonderzahlungen im Tabellenlohn bereits miteinbezogen (LSE 1994 S. 43), weshalb für die Festsetzung des Jahreslohnes lediglich der Faktor zwölf zu verwenden ist. Zu berücksichtigen gilt es weiter, dass insbesondere gesundheitlich beeinträchtigte Personen, die bisher körperliche Schwerarbeiten verrichteten, nunmehr aber selbst bei leichten Hilfsarbeitertätigkeiten behindert sind, deswegen im Vergleich zu voll leistungsfähigen und entsprechend einsetzbaren Arbeitnehmern oftmals lohnmässig benachteiligt sind und deshalb in der Regel mit unterdurchschnittlichen Lohnansätzen rechnen müssen (<ref-ruling> Erw. 3b/bb mit Hinweisen). Wird von einem unter den Werten der LSE liegenden Lohnansatz ausgegangen, ist die Reduktion in jedem konkreten Einzelfall auf Grund der tatsächlichen Behinderung im noch möglichen Betätigungsbereich zu bestimmen (AHI 1999 S. 181 Erw. 3b; vgl. <ref-ruling> Erw. 3b/bb und AHI 1998 S. 177 Erw. 3a).
b) Gemäss der Tabelle TA1 der LSE 1996 betrug der Durchschnittslohn für einfache und repetitive Tätigkeiten von Männern im privaten Sektor bei 40 Arbeitsstunden pro Woche Fr. 4294.- im Monat. Dieser Bereich umfasst nicht nur, was in der Verwaltungsgerichtsbeschwerde an sich zu Recht beanstandet wird, die von der Vorinstanz beigezogene Untergruppe "Sektor 3 Dienstleistungen" sondern weitere für den Versicherten typischerweise zumutbare Tätigkeiten im "Sektor 2 Produktion" (siehe Aufzählung unter Erw. 4 hievor), weshalb dieser als Vergleichsgrösse vorzuziehen ist. Für das Jahr 1996 ergibt sich, angepasst an die durchschnittliche Wochenarbeitszeit 1996 von 41,9 Stunden (Die Volkswirtschaft 1997, Heft 7, Tabelle B 9.2), ein Einkommen von Fr. 53'976.- (4294 x 12 Monate x 41.9 / 40). Von diesem Durchschnittseinkommen ist angesichts der ärztlich attestierten Einschränkungen bei der Verrichtung leichter Arbeiten praxisgemäss ein Abzug vorzunehmen, der ermessensweise auf 25 % festzusetzen ist. Daraus ergibt sich ein Invalideneinkommen von Fr. 40'482.-.
c) Was den hypothetischen Verdienst ohne Gesundheitsschaden (Valideneinkommen) betrifft, besteht zwischen den Parteien insoweit Einigkeit, als für das Jahr 1996 vom einem hypothetischen Einkommen von monatlich Fr. 4800.- zuzüglich einem 13. Monatslohn auszugehen ist, was ein Jahreseinkommen von Fr. 62'400.- ergibt. Darüber hinaus will der Versicherte die ihm 1995 von der HASTAG ausbezahlte Prämie in der Höhe von Fr. 1585.- hinzugerechnet wissen.
Stellt man den Betrag von Fr. 40'482.- dem von Verwaltung und Vorinstanz gestützt auf die Lohnangaben der HASTAG für das Jahr 1996 festgelegten hypothetischen Verdienst ohne Gesundheitsschaden von Fr. 62'400.- gegenüber und zählt man die vom Beschwerdeführer geltend gemachten Summe von Fr. 1585.- dazu, resultiert eine Erwerbseinbusse von rund 36 %, was den Anspruch auf eine Rente ausschliesst. Der angefochtene Entscheid hält damit im Ergebnis stand.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversiche-
rungsgericht des Kantons Zürich, der Ausgleichskasse
des Kantons Zürich und dem Bundesamt für Sozialversi-
cherung zugestellt.
Luzern, 8. Februar 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber: