Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Sozialversicherungsgericht hat die gesetzlichen Bestimmungen zum Rentenanspruch in der Invalidenversicherung (Art. 28 Abs. 1, 1bis und 2 IVG) und die dazu ergangene Rechtsprechung, namentlich zum übereinstimmenden Invaliditätsbegriff in der Invaliden-, Unfall-, Militär- und obligatorischen Berufsvorsorgeversicherung (<ref-ruling> Erw. 2a) sowie zu den Voraussetzungen, unter welchen eine Versicherung von der Invaliditätsschätzung eines andern Versicherers abweichen kann (<ref-ruling> Erw. 2d), richtig dargelegt. Darauf wird verwiesen. Zu ergänzen ist, dass nach <ref-ruling> die einzelnen für die Berechnung des Invaliditätsgrades massgebenden Faktoren (wie hypothetisches Validen- und Invalideneinkommen, Einschränkung in den einzelnen Betätigungsbereichen) mit grosser Sorgfalt festgelegt werden müssen und der hierauf errechnete Invaliditätsgrad, seiner Natur nach ein mathematisch exakter Prozentwert, grundsätzlich nicht mehr auf- oder abgerundet werden darf.
2.- Streitig ist der Invaliditätsgrad ab 1. Juni 1999.
a) Unbestrittenermassen kann der Beschwerdeführer wegen eines am 31. Mai 1996 erlittenen Unfalls nicht mehr als Bauarbeiter tätig sein. Hingegen ist er in geeigneten Verweisungsberufen (leichtere, vorwiegend sitzende Arbeiten ohne Heben schwerer Gewichte) ganztags mit einer Leistung von 75 % einsatzfähig (Austrittsbericht der Rehabilitationsklinik vom 5. Februar 1999). Die Schweizerische Unfallversicherungsanstalt (SUVA) gewährte ihm gestützt auf die Löhne von drei angepassten, in DAP-Tabellen umschriebenen Arbeitsplätzen, ab 1. Juni 1999 bei einem Invaliditätsgrad von mathematisch exakt 48,48 % eine Rente von 50 %.
Die IV stellte auf die Grundlagen der SUVA ab, ohne jedoch die Aufrundung auf 50 % zu übernehmen, weshalb sie dem Beschwerdeführer ab dem selben Datum die bisher ausgerichtete ganze Rente durch eine Viertelsrente ersetzte. Die Vorinstanz bestätigte das Vorgehen der IV-Stelle und fügte als Variante eine Berechnung des Invaliditätsgrades gemäss den Tabellenlöhnen der Schweizerischen Lohnstrukturerhebung (LSE) bei, wonach sich bei Gewährung des maximal zulässigen Abzugs von 25 % ein Invaliditätsgrad von 49,39 % und somit ebenfalls kein Anspruch auf eine halbe Rente ergab. Hiegegen lässt der Versicherte geltend machen, es gehe nicht an, dass die IV eine von der SUVA abweichende Einschätzung der Invalidität vornehme, nachdem sich die Berechnung der Unfallversicherung im Rahmen des pflichtgemässen Ermessens halte.
b) In <ref-ruling> hat sich das Eidgenössische Versicherungsgericht eingehend zur Prozent(schein)genauigkeit von Invaliditätsgradberechnungen und zur Frage des Auf- oder Abrundens von auf die Kommastelle genau ermittelten Resultaten geäussert. Dabei hat es mit Blick auf die Rechtssicherheit festgehalten, dass die für die Berechnung des Invaliditätsgrades wesentlichen Faktoren (hypothetisches Validen- und Invalideneinkommen, Einschränkungen in den verschiedene Tätigkeitsbereichen) sehr sorgfältig festgelegt werden müssen. Das gestützt auf diese Faktoren ermittelte, notwendigerweise auf die Kommastelle genaue mathematische Ergebnis darf grundsätzlich nicht mehr auf- oder abgerundet werden (<ref-ruling> Erw. 4f). In der Invalidenversicherung ist dieses Rundungsverbot schon deshalb angezeigt, weil der Gesetzgeber prozentgenaue Eckwerte für den Anspruch auf eine bestimmte Rente festgelegt hat (z.B.
66,66 % für eine ganze Rente), an welche die Gerichte kraft Bundesverfassung gebunden sind (<ref-ruling> Erw. 4a/aa und 134 Erw. 4c; AHI 2000 S. 302 Erw. 3c). Aus Gründen der Einheitlichkeit des Invaliditätsbegriffes darf folgerichtig auch die Unfallversicherung den einmal korrekt ermittelten Invaliditätswert nicht mehr auf- oder abrunden, soweit nicht von der Rechtsprechung zugelassene Gründe für das Abweichen von der Invaliditätsschätzung eines andern Versicherers gegeben sind (<ref-ruling> Erw. 4d und e).
c) Im vorliegenden Fall wird der gesetzliche Grenzwert von 50 %, welcher zu einer halben IV-Rente berechtigt, in keiner der in Frage kommenden Berechnungsweisen (Abstellen auf die drei DAP-Tabellen oder auf die LSE gemäss Vorinstanz) erreicht. Dabei kann offen bleiben, ob die erste oder die zweite Variante den Vorzug verdient. Beide beruhen auf sorgfältiger Festsetzung der massgebenden Faktoren. Das hypothetische Valideneinkommen ist unbestritten, die noch zumutbare Arbeitsfähigkeit von 75 % in angepassten Tätigkeiten an Hand der medizinischen Akten ausgewiesen, unfallfremde Leiden, welche die IV zusätzlich berücksichtigen müsste, sind nicht gegeben, der bei der Berechnung nach den LSE-Tabellen maximal zulässige Abzug von 25 % (<ref-ruling> Erw. 5b/cc) ist gewährt worden. Dennoch ergibt sich bei beiden Varianten - wenn auch knapp - kein Anspruch auf eine halbe Rente. Selbst bei einer Wochenarbeitszeit von 41,8 statt 41,9 Stunden bleibt es bei einem Invaliditätsgrad von unter 50 %. Ein Abstellen nur auf Tätigkeiten in der Industrie, wie in der Verwaltungsgerichtsbeschwerde verlangt wird, ist nicht angezeigt, da die Versicherten gehalten sind, sich auf dem gesamten ihnen offen stehenden Arbeitsmarkt nach einer geeigneten Stelle umzusehen. Unter solchen Umständen hätte die SUVA gestützt auf die erwähnte Rechtsprechung, an welcher festzuhalten ist, nicht von 48,48 % auf 50 % aufrunden dürfen. Solches ist auch der Invalidenversicherung verwehrt, weshalb die zugesprochene Viertelsrente im Ergebnis richtig ist.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 9. April 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: