A.- M._, geboren 1950, war als Maschinist/Baggerführer bei der Firma Q._ AG, Strassen- und Tiefbau, angestellt gewesen. Wegen rezidivierender Lumboischialgien war er vom 12. August bis 8. September 1996 und ab
9. Dezember 1996 arbeitsunfähig. Im Januar 1997 musste er sich einer Hemilaminektomie L4/5 und im Oktober 1997 einer Spondylodese L3-5 unterziehen. Abgesehen von einem rund einmonatigen Arbeitsversuch am bisherigen Arbeitsplatz im Juli/August 1997 ging er keiner Erwerbstätigkeit mehr nach.
Am 16. März 1998 meldete er sich zum Leistungsbezug bei der Invalidenversicherung an. Die IV-Stelle des Kantons Zürich klärte die gesundheitlichen und erwerblichen Verhältnisse ab und beauftragte das Spital A._ (Rheumaklinik und Institut für Physikalische Medizin) mit einem Gutachten. In der am 13. März 1999 erstatteten Expertise gelangten die begutachtenden Ärzte zum Schluss, dass der Versicherte im bisherigen Beruf als Maschinist/Baggerführer zu 70 % in der Arbeitsfähigkeit eingeschränkt und für leichte bis mittelschwere Tätigkeiten ohne langdauernde monotone und statische Komponenten ganztags zu 100 % arbeitsfähig sei. Die IV-Stelle ermittelte einen Invaliditätsgrad von 40 % und sprach dem Versicherten am 18. November 1999 eine Viertelsrente ab 1. Dezember 1997 zu. Am 2. Dezember 1999 hob sie diese Verfügung wiedererwägungsweise auf. Gestützt auf eine Stellungnahme des IV-Arztes Dr. med. Z._ vom 21. Dezember 1999 und nach Erhalt eines vom Rechtsvertreter des Versicherten eingeholten Berichts des Spitals B._ vom 29. Februar 2000 erliess sie am 1. Juni 2000 eine neue Verfügung, mit welcher sie wiederum eine Viertelsrente ab
1. Dezember 1997 zusprach.
B.- M._ liess beim Sozialversicherungsgericht des Kantons Zürich Beschwerde einreichen und beantragen, es sei ihm eine ganze Rente zuzusprechen. Nachdem das Gericht einen Antrag auf sofortige Anordnung einer Begutachtung durch die Rheuma- und Rehabilitationsklinik C._ abgelehnt hatte (Verfügung vom 6. Juli 2000), reichte der Versicherte Berichte dieser Klinik vom 7. und 26. September 2000, einen Bericht von Dr. med. Y._, Facharzt FMH für Orthopädische Chirurgie, vom 2. August 2001 sowie eine Verfügung der Invalidenversicherung vom 1. März 2002 ein, mit welcher ihm ab 1. Oktober 2000 eine ganze Rente zugesprochen wurde.
Mit Entscheid vom 4. April 2002 wies das kantonale Gericht die Beschwerde ab.
C.- M._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, in Aufhebung des angefochtenen Entscheids sei ihm eine ganze Invalidenrente ab 1. August 1997 zuzusprechen.
Die IV-Stelle beantragt Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung lässt sich nicht vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Im vorinstanzlichen Entscheid werden die für den Rentenanspruch (<ref-law>) und die Invaliditätsbemessung (<ref-law>) geltenden Bestimmungen sowie die für die Beweiswürdigung von ärztlichen Berichten und Gutachten geltenden Regeln (<ref-ruling> Erw. 3a mit Hinweis) zutreffend dargelegt, sodass darauf verwiesen werden kann.
2.- a) Laut Gutachten des Spitals A._ (Rheumaklinik und Institut für Physikalische Medizin) vom 13. März 1999 leidet der Beschwerdeführer an einem chronischen lumbovertebralen Schmerzsyndrom mit selten rechtsseitiger spondylogener Ausstrahlung infolge muskulärer Dysbalance und strukturellen Veränderungen mit funktioneller Minderbelastbarkeit der Lendenwirbelsäule bei Wirbelsäulenfehlform und -fehlhaltung, leichten degenerativen Veränderungen L5/S1, Status nach Diskushernienoperation (Januar 1997) und Spondylodese L3-5 (Oktober 1997). Nach Auffassung der Gutachter vermag er die angestammte Tätigkeit als Baumaschinist nurmehr halbtags mit vermehrten Pausen sowie einer Gewichtslimite für selten zu hantierende Lasten von 30 kg auszuüben, was einer Einschränkung der Arbeitsfähigkeit von 70 % entspricht; für leichte bis mittelschwere Tätigkeiten ohne langdauernde monotone und statische Komponenten ist er ganztags und zu 100 % arbeitsfähig. Die Beurteilung stützt sich unter anderem auf eine Evaluation der arbeitsbezogenen funktionellen Leistungsfähigkeit (EFL), mit welcher auf Grund eingehender Tests und unter Berücksichtigung des bestehenden Schmerzsyndroms die berufliche Belastbarkeit näher abgeklärt wurde. Als Schlussfolgerung wird im Testbericht vom 25. Februar 1999 festgehalten, das arbeitsbezogen relevante Problem bestehe in einer funktionellen Minderbelastung der Lendenwirbelsäule. Die Belastbarkeit liege allgemein im Bereich einer mittelschweren Arbeit. Zum Testverhalten wird ausgeführt, der Versicherte habe eine sehr gute Leistungsbereitschaft gezeigt; die Konsistenz bei den Tests sei gut gewesen.
b) Der Beschwerdeführer bringt vor, auf das Gutachten des Spitals A._ dürfe nicht abgestellt werden, weil er zufolge einer falschen Information vor Absolvierung der Tests starke Schmerzmittel eingenommen habe, sodass zur Schmerzgrenze keine verbindlichen Aussagen hätten gemacht werden können. Indem die Vorinstanz den entsprechenden Einwand ohne weitere Abklärung mit der Feststellung abgewiesen habe, dem Gutachten lasse sich diesbezüglich nichts entnehmen, sei er im Recht auf Beweis verletzt worden.
Im angefochtenen Entscheid hat das kantonale Gericht indessen eingehend dargelegt, weshalb es der Argumentation des Versicherten nicht gefolgt ist, welchen Erwägungen beizupflichten ist. Bei der Evaluation der arbeitsbezogenen funktionellen Leistungsfähigkeit musste sich der Beschwerdeführer im Rahmen einer "Schmerz-Selbstbeurteilung" zu den bestehenden Beschwerden äussern, wobei er anhand einer Schmerzskala zu den aktuellen Schmerzen sowie den stärksten und schwächsten Schmerzen innerhalb der letzten sieben Tage befragt wurde. Es erscheint als unwahrscheinlich, dass er die entsprechenden Angaben gemacht hat, ohne auf die Einnahme von Schmerzmitteln hinzuweisen, wenn er, wie geltend gemacht, vorgängig der Untersuchung "eine ausserordentlich starke Dosis" zu sich genommen hätte. Ebenso unwahrscheinlich ist, dass die Gutachter die Einnahme von Schmerzmitteln unerwähnt gelassen hätten, wenn der Beschwerdeführer darauf hingewiesen hätte und anzunehmen gewesen wäre, dass die Schmerzbeurteilung dadurch beeinflusst war.
Ein solcher Zusammenhang ist zudem nicht ausgewiesen, bewegten sich die Schmerzen anlässlich der beiden Testtage nach den eigenen Angaben des Versicherten doch im Rahmen der vor der Abklärung vorhanden gewesenen Beschwerden. Was er zur Schmerzbeurteilung seitens des Spitals A._ vorbringt, vermag aus diesen Gründen nicht zu überzeugen.
Von weiteren Abklärungen ist abzusehen, weil hievon keine neuen Erkenntnisse zu erwarten wären (antizipierte Beweiswürdigung; <ref-ruling> Erw. 4b, 122 V 162 Erw. 1d mit Hinweis; SVR 2001 IV Nr. 10 S. 28 Erw. 4b).
Der Beschwerdeführer macht des Weitern geltend, die gutachterliche Feststellung, wonach er im bisherigen Beruf als Baumaschinist noch zu 30 % arbeitsfähig sei, stehe im Widerspruch zu den andern Arztberichten, welche eine entsprechende Tätigkeit als unzumutbar bezeichneten. Dieser Einwand ist insofern berechtigt, als sowohl der behandelnde Arzt Dr. med. X._, Arzt für Allgemeine Medizin FMH, wie auch PD Dr. med. W._, Spezialarzt FMH für Physikalische Medizin und Rehabilitation, eine vollständige Arbeitsunfähigkeit im bisherigen Tätigkeitsbereich angaben (ärztliche Zeugnisse vom 2. Februar und 28. Juni 2000).
Massgebend für die Invaliditätsbemessung ist indessen nicht die Arbeitsfähigkeit im bisherigen Beruf, sondern die Arbeits- bzw. Erwerbsfähigkeit auf dem gesamten, für den Beschwerdeführer in Betracht fallenden Arbeitsmarkt. Diesbezüglich ergeben sich aus den medizinischen Akten aber keine Anhaltspunkte dafür, dass die Annahme der Ärzte des Spitals A._, wonach der Beschwerdeführer eine angepasste leichtere Tätigkeit ohne wesentliche Einschränkungen zu 100 % auszuüben vermöchte, unzutreffend wäre. Zwar wird in dem vom Versicherten eingeholten Bericht der Rheuma- und Rehabilitationsklinik C._ vom 26. September 2000 ausgeführt, es sei fraglich, ob dem Versicherten die Ausübung einer leichten wechselbelastenden Tätigkeit ganztags möglich sei. Des Weitern vertritt Dr. med. Y._ im Bericht zuhanden der IV-Stelle vom 2. August 2001 die Auffassung, der Versicherte sei auch in einer solchen Tätigkeit höchstens zu 30 % arbeitsfähig. Die beiden Stellungnahmen beziehen sich jedoch auf Untersuchungen, die erst nach dem für die Beurteilung des Rentenanspruchs massgebenden Zeitpunkt des Verfügungserlasses (<ref-ruling> Erw. 1b mit Hinweisen) durchgeführt wurden. Im Bericht des Dr. med.
Y._ wird zudem eine nachträgliche Verschlechterung des Gesundheitszustandes (Coxarthrose) berücksichtigt, welche sich zusätzlich auf die Arbeits- bzw. Erwerbsfähigkeit auswirkt, was denn auch zur revisionsweisen Zusprechung einer ganzen IV-Rente ab 1. Oktober 2000 geführt hat (Verfügung vom 1. März 2002). Für die hier massgebende Zeit bis zum 1. Juni 2000 besteht auch auf Grund der neuen Arztberichte kein Anlass, von der gutachterlichen Beurteilung abzugehen, wonach dem Beschwerdeführer die Ausübung einer geeigneten leichteren Tätigkeit voll zumutbar wäre. Entgegen den Ausführungen in der Verwaltungsgerichtsbeschwerde lässt sich aus der Feststellung von Dr. med. Y._, der Versicherte wäre nach durchgeführter Hüftgelenkoperation in einer halbtägigen Arbeit einsetzbar, nicht schliessen, dass die vor Auftreten der Hüftbeschwerden erfolgte Beurteilung der Arbeitsfähigkeit durch das Spital A._ unzutreffend war. Auch die Tatsache, dass die IV-Stelle mit Verfügung vom 1. März 2002 rückwirkend ab
1. Oktober 2000 eine ganze Rente zugesprochen hat, ist nicht geeignet, die Schlussfolgerungen im Gutachten des Spitals A._ in Frage zu stellen. Mit der Vorinstanz ist festzustellen, dass den darin enthaltenen Ausführungen sowohl unter formellen als auch unter materiellen Gesichtspunkten voller Beweiswert beigemessen werden kann (vgl. <ref-ruling> Erw. 3a mit Hinweisen). Ohne dass es weiterer Abklärungen bedürfte, ist gestützt hierauf davon auszugehen, dass dem Beschwerdeführer jedenfalls in der hier massgebenden Zeit bis Juni 2000 die Ausübung einer leichten, wechselbelastenden Tätigkeit ohne wesentliche Einschränkungen vollzeitlich zumutbar war.
3.- a) Die IV-Stelle hat das für die Invaliditätsbemessung nach der Methode des Einkommensvergleichs (<ref-law>) massgebende Invalideneinkommen auf Fr. 43'891.- festgesetzt. Sie stützte sich dabei auf vier Arbeitsplatzprofile aus der Dokumentation von Arbeitsplätzen (DAP) der Schweizerischen Unfallversicherungsanstalt (SUVA). Bei den herangezogenen Arbeitsplätzen handelt es sich um Tätigkeiten als Betriebsangestellter (DAP Nr. 544), Wagenparkbetreuer (DAP Nr. 1544), Lagerist (DAP Nr. 1916) und Montage-Arbeiter (DAP Nr. 2472) in Industrie- und Gewerbebetrieben. Der Beschwerdeführer bestreitet, dass es sich dabei um geeignete Arbeitsplätze handelt, und macht geltend, die genannten Tätigkeiten setzten in der Regel eine Berufsausbildung voraus, weshalb ungelernte Personen mit einem entsprechend tieferen Einkommen zu rechnen hätten. Wie es sich hinsichtlich dieser Einwendungen verhält und ob die von der Verwaltung herangezogenen Arbeitsplatzprofile eine zuverlässige und hinreichende Grundlage für die Invaliditätsbemessung darstellen, kann offen bleiben, weil die Invaliditätsbemessung aus einem andern Grund zu bestätigen ist, wie sich aus dem Folgenden ergibt.
b) Lässt sich das Invalideneinkommen nicht konkret ermitteln, weil der Versicherte die restliche Arbeits- bzw.
Erwerbsfähigkeit nicht zumutbarerweise voll ausnützt, so können nach der Rechtsprechung Tabellenlöhne herangezogen werden. Abzustellen ist auf die vom Bundesamt für Statistik herausgegebene Schweizerische Lohnstrukturerhebung (LSE), wobei jeweils vom Zentralwert (Median) der standardisierten Bruttolöhne (Tabellengruppe A) auszugehen ist (<ref-ruling> Erw. 3b/bb). Zum Ausgleich lohnmindernder Faktoren kann vom Tabellenlohn ein Abzug vorgenommen werden, welcher unter Berücksichtigung sämtlicher persönlicher und beruflicher Umstände (leidensbedingte Einschränkung, Alter, Dienstjahre, Nationalität/Aufenthaltskategorie und Beschäftigungsgrad) nach pflichtgemässem Ermessen zu schätzen ist, wobei der Abzug höchstens 25 % beträgt (<ref-ruling> Erw. 5b/aa-cc).
Im vorliegenden Fall ist vom monatlichen Bruttolohn (Zentralwert) von Arbeitnehmern im privaten Sektor für Tätigkeiten im Anforderungsniveau 4 (einfache und repetitive Tätigkeiten) von Fr. 4268.- auszugehen (LSE 1998, S. 25, Tabelle TA1). Umgerechnet auf die betriebsübliche wöchentliche Arbeitszeit im Jahre 1998 von 41,9 Stunden (<ref-ruling> Erw. 3b/bb; Die Volkswirtschaft 2002 Heft 6, S. 80 Tabelle B 9.2 Zeile A-0) ergibt sich ein Jahreseinkommen von Fr. 53'649.-. Vom Tabellenlohn ist ein leidensbedingter Abzug vorzunehmen, weil der Beschwerdeführer auch im Rahmen einer leichteren, wechselbelastenden Tätigkeit eingeschränkt ist, da mit schmerzbedingten Arbeitsunterbrüchen zu rechnen ist, was sich erfahrungsgemäss lohnmindernd auswirken kann. Nicht gegeben sind die Abzugskriterien des Alters und der Dienstjahre (vgl. hiezu <ref-ruling> Erw. 5a/cc mit Hinweisen), ebensowenig diejenigen der Nationalität bzw. Aufenthaltskategorie und der Teilzeitbeschäftigung.
Insgesamt erscheint ein Abzug von 15 % unter den gegebenen Umständen als angemessen, was zu einem Invalideneinkommen von Fr. 45'601.- führt. Wenn die IV-Stelle auf Grund der DAP ein Invalideneinkommen von Fr. 43'891.- ermittelt hat, so entspricht dies einem Abzug von sogar rund 18 %. Ein höherer Abzug vom Tabellenlohn lässt sich im vorliegenden Fall keinesfalls rechtfertigen.
Es muss daher bei dem von Verwaltung und Vorinstanz angenommenen Invalideneinkommen von Fr. 43'891.- bleiben, was im Vergleich zum unbestritten gebliebenen Valideneinkommen von Fr. 73'710.- (Fr. 5670.- x 13) zu einem Invaliditätsgrad von 40,5 % führt. Da ein Härtefall nicht ausgewiesen ist, hat der Beschwerdeführer Anspruch auf eine Viertelsrente (Art. 28 Abs. 1 und 1bis IVG).
c) Zu dem von Verwaltung und Vorinstanz auf den 1. Dezember 1997 festgesetzten Rentenbeginn bringt der Beschwerdeführer vor, die Wartezeit von einem Jahr (<ref-law>) habe am 12. August 1996 zu laufen begonnen, sodass der Rentenanspruch am 1. August 1997 entstanden sei.
Auch diesem Einwand kann nicht beigepflichtet werden. Laut Zeugnis des Dr. med. X._ vom 3. Oktober 1997 war der Beschwerdeführer vom 12. August bis 8. September 1996 und erneut ab 9. Dezember 1996 arbeitsunfähig; im Bericht der Klinik D._ vom 7. Januar 1997 wird zudem ausgeführt, der Versicherte sei bis Dezember 1996 als Baggerführer voll arbeitsfähig gewesen. Unbestritten ist, dass er in der Zeit vom 10. September bis 8. Dezember 1996 erwerbstätig gewesen ist. Durch die volle Arbeitsfähigkeit und Erwerbstätigkeit während mehr als 30 Tagen ist die am 12. August 1996 eingetretene Arbeitsunfähigkeit gemäss <ref-law> unterbrochen worden. Der Beginn der Wartezeit ist deshalb auf den 9. Dezember 1996 festzusetzen, was zu einem Rentenbeginn am 1. Dezember 1997 führt.
4.- Fehl geht schliesslich der Einwand, die Vorinstanz hätte im Hinblick darauf, dass die Verwaltung ihre Verfügung in Wiedererwägung gezogen und ab 1. Oktober 2000 eine ganze Rente zugesprochen habe, was einem erheblichen Obsiegen entspreche, eine Parteientschädigung zusprechen müssen. Abgesehen davon, dass es sich beim Verwaltungsentscheid vom 1. März 2002 nicht um eine Wiedererwägungs-, sondern um eine Revisionsverfügung im Sinne von <ref-law> handelt, war lediglich zu prüfen, ob die Zusprechung einer Viertelsrente für die Zeit ab 1. Dezember 1997 bis zu dem für die richterliche Beurteilung massgebenden Zeitpunkt des Verfügungserlasses (1. Juni 2000) rechtens war. Mangels Obsiegens in diesem Punkt steht dem Beschwerdeführer weder für das kantonale noch für das letztinstanzliche Verfahren eine Parteientschädigung zu.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse Schweizerischer Baumeisterverband, Zürich, und
dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 2. September 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Die Gerichtsschreiberin: