Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die massgeblichen Bestimmungen und Grundsätze über den Begriff der Invalidität, die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG) sowie die Bemessung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleich (<ref-law>), zutreffend dargelegt. Richtig sind auch die Ausführungen zum Beweiswert von medizinischen Berichten und Gutachten (<ref-ruling> Erw. 1c mit Hinweisen). Darauf kann verwiesen werden.
2.- Es ist unbestritten, dass der Beschwerdeführer aufgrund des Lumbovertebralsyndroms seine frühere Arbeit als Maurer/Bauarbeiter nicht mehr ausüben kann. In Würdigung der umfangreichen medizinischen und beruflich-erwerblichen Unterlagen, insbesondere der im Administrativverfahren eingeholten Gutachten der medizinischen Abklärungsstelle (MEDAS) vom 26. Oktober 1995 und der Beruflichen Abklärungs- und Ausbildungsstätte (BEFAS) vom 12. Oktober 1994, zog die Vorinstanz mit überzeugender Begründung den Schluss, für eine körperlich leichte, vorwiegend sitzende, wechselbelastende Tätigkeit sei er hingegen zu 100 % arbeitsfähig. Was der Beschwerdeführer dagegen vorbringt, ist nicht stichhaltig.
Soweit er geltend macht, es sei unbefriedigend, dass die Vorinstanz die beiden nach dem Verfügungserlass ergangene Berichte der Klinik X._ vom 19. Juli und 28. August 1996 in ihrer Beurteilung nicht mit einbezogen habe, wird übersehen, dass diese Berichte die Beurteilung der MEDAS nicht zu erschüttern vermögen, zumal sie sich mit dem Gutachten gar nicht auseinandersetzen.
Nicht zu hören ist auch der Einwand, wonach der Beschwerdeführer in der BEFAS nur eine Leistung von 60 % bis 70 % erbringen konnte. Der BEFAS-Bericht zeigt deutlich, dass der Betroffene mit etwas mehr Motivation durchaus auf 100 % hätte steigern können. Zudem wurden die Argumente des Beschwerdeführers bereits vom kantonalen Gericht entkräftet. Diesen vorinstanzlichen Ausführungen, auf die verwiesen werden kann, hat das Eidgenössische Versicherungsgericht nichts beizufügen.
3.- Zu prüfen bleibt, wie sich die festgestellte Einschränkung der Arbeitsfähigkeit in erwerblicher Hinsicht auswirkt.
a) Die Vorinstanz hat das für den Einkommensvergleich nach <ref-law> massgebende Valideneinkommen gestützt auf die Auskünfte des früheren Arbeitgebers des Versicherten festgesetzt, wonach dieser im Jahre 1993 ohne Gesundheitsschaden ein Jahreseinkommen von Fr. 71'714.15 (Fr. 32.40 x 8,5 Stunden x 21,7 Tage x 12) erzielt hätte (Fragebogen für den Arbeitgeber vom 16. März 1993). Der Beschwerdeführer macht demgegenüber geltend, dieses Einkommen müsse noch entsprechend der Nominallohnentwicklung bis 1996 aufgewertet werden. Dieser Einwand ist zutreffend, da für die Schätzung sowohl des Validen- als des Invalideneinkommens von zeitgleichen Grössen ausgegangen werden muss. Im Bauhauptgewerbe, in dem der Betroffene zuletzt arbeitete, ist der Nominallohn per 1994 um 1,6 %, per 1995 um 2,2 % und per 1996 um 1,0 % gestiegen (Statistisches Jahrbuch 1997 S. 118, 1998 S. 162). Somit ergibt sich per 1996 ein Valideneinkommen von rund Fr. 75'210.-.
b) Für die Ermittlung des Invalideneinkommens stellte die Verwaltung auf die BIGA-Statistik (Stand 1993) ab, wonach der Beschwerdeführer bei Verwertung seiner restlichen Arbeitsfähigkeit für körperlich leichte Hilfsarbeiten ein Einkommen von mindestens Fr. 44'494.- hätte erzielen können. Die Vorinstanz nahm demgegenüber - aufgrund der vorinstanzlichen Replik vom 5. Juli 1996 - ein Invalideneinkommen von Fr. 45'500.- an. Dieser Betrag entspricht dem Durchschnitt der im BEFAS-Abklärungsbericht vom 12. Oktober 1994 angegebenen Monatslöhne auf ein Jahr umgerechnet, die der Beschwerdeführer trotz seines Gesundheitsschadens noch erzielen könnte, was nicht zu beanstanden ist. Dieses Einkommen muss nun allerdings ebenfalls auf 1996 aufgewertet werden, was - bei einer Nominallohnerhöhung (im Total aller Wirtschaftszweige: Statistisches Jahrbuch 1997 S. 118, 1998 S. 162) bis 1995 um 1,3 % und bis 1996 um weitere 1,3 % - zu einem Invalidenlohn von Fr. 46'690.- führt. Da dieser Betrag nicht auf der Grundlage der sog. Tabellenlöhne festgesetzt wurde, sondern aufgrund von auf gesundheitlich Beeinträchtigte zugeschnittenen Lohnangaben, bleibt für einen leidensbedingten Abzug kein Raum (RKUV 1998 Nr. U 304 S. 373 Erw. 3), was der Beschwerdeführer auch nicht bestreitet. Somit ergibt sich per 1996 ein Invalideneinkommen von Fr. 46'690.-.
c) Aus der Gegenüberstellung des Invalideneinkommens von Fr. 46'690.- und des Valideneinkommens von Fr. 75'210.- ergibt sich eine invaliditätsbedingte Erwerbseinbusse von 38 %. Dementsprechend hat der Beschwerdeführer, wie die Vorinstanz im Ergebnis richtig entschieden hat, keinen Anspruch auf eine Invalidenrente.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversiche-
rungsgericht des Kantons Zürich und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 27. Januar 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Die Gerichtsschreiberin: