Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Der Beschwerdeführer bemängelt, dass Verwaltung und Vorinstanz den psychischen Gesundheitszustand zu Unrecht nicht näher abgeklärt hätten, obwohl sich in den Akten ausreichende Anhaltspunkte für seelische Leiden fänden.
Namentlich hätte die Vorinstanz den Bericht von Dr. med.
B._, FMH Psychiatrie und Psychotherapie, vom 12. Oktober 1999 berücksichtigen müssen, obwohl er erst nach dem Datum der Verwaltungsverfügung erstellt worden sei, da sich daraus ergebe, dass psychische Beschwerden vorlägen.
2.- a) Neben den unbestrittenen somatischen Leiden (Rückenschmerzen) finden sich in den Akten folgende Hinweise auf psychische Beschwerden:
Im Bericht vom 14. März 1997 stellt Dr. med.
T._, Spezialarzt für Innere Medizin FMH, unter anderem die Diagnose einer Depression, geht jedoch nicht näher darauf ein.
Von den verschiedenen Berichten der Klinik X._ erwähnt derjenige vom 21. August 1996, dass neu eine antidepressive Therapie mit Seropram begonnen worden sei.
Diese habe eine Verbesserung bezüglich des Schlafes gebracht.
Es bestehe ein Verdacht auf funktionelle Überlagerung.
Anlässlich der Untersuchung vom 15. Juli 1996 sei wiederum der Eindruck einer funktionellen Überlagerung entstanden, weshalb die antidepressive Therapie vorläufig fortgesetzt werden sollte (Bericht über die Untersuchung vom 15. Juli 1996).
Im Verlaufsprotokoll des IV-Berufsberaters finden sich ebenfalls verschiedene Hinweise auf psychische Probleme.
Im erwähnten Bericht vom 12. Oktober 1999 sodann diagnostiziert Dr. B._ neben somatischen Komponenten eine deutliche somatoforme Schmerzstörung, welche mit einer Depression gekoppelt sei und das Ausmass einer Major Depression erreiche. Die somatische Grundkrankheit und die soziale Deprivation (die Familie lebe in Italien) hätten den Versicherten unter zunehmendem wirtschaftlichem Druck in eine somatoforme Reaktion getrieben. Eine kombinierte antidepressive Medikation könne zumindest die Schlafstörungen, wahrscheinlich auch die Depression etwas mildern.
b) Zwar prüft das Gericht grundsätzlich nur den Sachverhalt, welcher bis zum Datum der Verwaltungsverfügung eingetreten ist (<ref-ruling> Erw. 1b). Dies bedeutet jedoch nicht, dass der erwähnte Bericht von Dr. B._ vorliegend unbeachtlich bleiben müsste. Wenn sich auf Grund von späteren medizinischen Unterlagen Rückschlüsse auf den Gesundheitszustand vor dem Erlass der streitigen Verfügung ziehen lassen, sind solche Unterlagen rechtsprechungsgemäss trotzdem zu berücksichtigen.
c) Gestützt auf die geschilderte medizinische Aktenlage ist erstellt, dass der Versicherte nicht nur somatische, sondern auch psychische Beschwerden hat. Die älteren Unterlagen äussern sich nicht eingehend zu den seelischen Leiden.
Gestützt auf den Bericht von Dr. B._ vom 12. Oktober 1999 ist jedoch nicht auszuschliessen, dass die psychischen Beschwerden sich bis zum Datum der Verfügung weiter verschlechtert und ein Ausmass erreicht haben, das sich zusätzlich zu den körperlich bedingten Einschränkungen auf die Arbeitsfähigkeit auswirkt. Da sich keine gesicherten Aussagen zu Beginn, Ausmass und Auswirkungen der psychischen Leiden auf die Arbeitsfähigkeit machen lassen, erscheint es angezeigt, den Beschwerdeführer zusätzlich einer eingehenden psychischen Abklärung zu unterziehen.
Hinsichtlich der somatoformen Störungen ist dabei auf AHI 2000 S. 149 zu verweisen.

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde werden
der Entscheid des Sozialversicherungsgerichts des
Kantons Zürich vom 28. Januar 2000 und die Verfügung
vom 24. Februar 1998 aufgehoben, und die Sache wird an
die IV-Stelle des Kantons Zürich zurückgewiesen, damit
sie, nach erfolgter Abklärung im Sinne der Erwägungen,
neu verfüge.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung (einschliesslich
Mehrwertsteuer) von Fr. 2000.- zu bezahlen.
IV.Das Sozialversicherungsgericht des Kantons Zürich wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 29. November 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: