A.- Der 1939 geborene S._ meldete sich am 12. April 1996 wegen chronischer Rückenschmerzen bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich prüfte in der Folge die Rentenfrage. Zu diesem Zweck holte sie u.a. Auskünfte der Firma H._ AG vom 14. Mai 1996 ein, bei welcher S._ noch bis Ende September 1996 als Lkw-Chauffeur angestellt war. Weiter führte sie eine berufliche Abklärung durch (Bericht des Berufsberaters vom 19. Juli 1996) und liess ihn durch Dr. med. B._, Rheumaklinik und Institut für Physikalische Medizin des Spitals X._, begutachten (Bericht vom 5. Februar 1997). Gestützt auf diese Unterlagen setzte die IV-Stelle den Invaliditätsgrad auf 28 % fest, weshalb sie den Anspruch auf eine Rente ablehnte (Verfügung vom 24. September 1997). B.- Die dagegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 4. Mai 1999 ab. C.- Mit Verwaltungsgerichtsbeschwerde lässt S._ beantragen, es sei ihm in Aufhebung des vorinstanzlichen Entscheids und der Verfügung vom 24. September 1997 mit Wirkung ab 1. Januar 1997 eine ganze Invalidenrente zuzusprechen; eventuell sei die Sache zu ergänzenden Abklärungen an die Vorinstanz zurückzuweisen. Während die IV-Stelle auf eine Stellungnahme verzichtet, hat sich das Bundesamt für Sozialversicherung nicht vernehmen lassen.