Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat im angefochtenen Entscheid die massgeblichen gesetzlichen Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Bemessung des Invaliditätsgrades bei erwerbstätigen Versicherten nach der Einkommensvergleichsmethode (<ref-law>) und zur richterlichen Beweiswürdigung von Arztberichten (<ref-ruling> Erw. 1c; siehe auch <ref-ruling> ff. Erw. 3) zutreffend dargelegt. Ebenfalls zutreffend hat die Vorinstanz ausgeführt, nach ständiger Rechtsprechung beurteile das Sozialversicherungsgericht die Gesetzmässigkeit der Verwaltungsverfügungen in der Regel nach dem Sachverhalt, wie er zur Zeit des Verfügungserlasses gegeben war (<ref-ruling> Erw. 1b mit Hinweisen). Darauf kann verwiesen werden.
2.- a) Die IV-Stelle begründete ihre Verfügung damit, dass der Versicherte mit der ihm verbliebenen Restarbeitsfähigkeit noch im Rahmen eines 50%igen Pensums einer leichten Arbeit in wechselnder Position nachgehen könnte. Im angefochtenen Entscheid hat die Vorinstanz erwogen, insgesamt vermöge das ZMB-Gutachten, welches in Kenntnis der Vorakten erstellt wurde, die geklagten Beschwerden gebührend berücksichtigt und auf umfassenden Untersuchungen beruht, durchaus zu überzeugen. Demnach sei dem Versicherten eine leichte, wechselbelastende, vorwiegend sitzende Tätigkeit ohne repetitives Heben oder Tragen von mehr als 10 kg und ohne grössere Anstrengungen im Umfang von ca. 4 Stunden pro Tag zumutbar. In erwerblicher Hinsicht kam das kantonale Gericht zum Schluss, bei Berücksichtigung eines Invalideneinkommens von Fr. 20'486.- und eines Valideneinkommens von Fr. 46'495.- ergebe sich ein Invaliditätsgrad von rund 56 %.
b) Wie bereits im vorinstanzlichen Verfahren, beanstandet der Beschwerdeführer, im Gutachten vom 26. April 1999 hätten die Ärzte des ZMB über medizinische Unterlagen zu seinem Gesundheitszustand verfügt, die in den Akten der IV-Stelle nicht vorhanden waren. Zutreffend hat das kantonale Gericht jedoch festgehalten, dass dies nicht massgebend war, weil sich die Schlussfolgerungen der Gutachter vorwiegend auf deren eigene Untersuchungen stützten. Ferner macht der Beschwerdeführer erneut geltend, es habe bei der psychiatrischen Exploration von Dr. med. W._ (ZMB-Gutachter) an der grundlegenden Voraussetzung der ausreichenden Verständigungsmöglichkeit gefehlt, da bei fremdsprachigen Patienten ohne Ausnahme mindestens ein Übersetzer beigezogen werden müsse. Zu Recht hat die Vorinstanz allerdings erwogen, dass die mündlichen Deutschkenntnisse des mazedonischen, seit 1983 in der Schweiz lebenden Beschwerdeführers, von sämtlichen Ärzten als gut eingeschätzt wurden. Da sich bei der Begutachtung keinerlei Verständigungsprobleme gezeigt hatten, sei seine Artikulationsfähigkeit in deutscher Sprache als ausreichend zu betrachten gewesen.
Der Beschwerdeführer stützt sich sodann auf ein am 24. August 2001 erstelltes und im vorliegenden Verfahren ins Recht gelegtes psychiatrisches Privatgutachten von Dr.
med. M._, wonach er in psychischer Hinsicht an Anpassungsstörungen, Dysphorie und anhaltenden somatoformen Schmerzstörungen leidet. In ihrer Vernehmlassung vom 28. November 2001 führt die IV-Stelle jedoch zutreffend aus, der erwähnte Arzt habe den Patienten nach seinen subjektiven Klagen und nach den Angaben seines 17 Jahre alten Sohnes beurteilt. Dr. med. M._ selber mache das Übergewicht für die chronifizierte psychische Fehlverarbeitung verantwortlich, das der Versicherte durch eigene Willensanstrengungen reduzieren könnte. Die beschriebenen familiären Konfliktsituationen seien nicht als psychische Komponente mit Krankheitswert einzustufen, da sie keine Beweisgrundlage für eine solche Erkrankung bilden.
c) Der Beschwerdeführer bringt in der Verwaltungsgerichtsbeschwerde nichts vor, was auf die Untauglichkeit des ZMB-Gutachtens schliessen liesse. Insbesondere vermag die psychiatrische Begutachtung von Dr. med. M._, welche sich auf den eineinhalb Jahre nach der Verfügung gegebenen Sachverhalt stützt - Dr. med. M._ weist ausdrücklich darauf hin, dass seine Beurteilung den Zustand im Zeitpunkt der Untersuchung betrifft - und lediglich eine andere Würdigung des an sich gleichen, von Dr. med. W._ abgeklärten psychischen Gesundheitszustandes darstellt, nicht zu überzeugen. Dabei ist somit davon auszugehen, dass dem Befund von Dr. med. W._ entsprechend von einer psychischen Krankheit nicht die Rede sein kann.
d) Nach dem Gesagten erfüllt der Beschwerdeführer die Voraussetzungen für den Anspruch auf eine ganze Invalidenrente nicht, wie die Vorinstanz zutreffend entschied.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Schweizerischen Baumeisterverbandes, Zürich, und
dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 5. Juni 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: