A.- I._ (geboren 1962) war seit 1984 als Bauarbeiter in der Schweiz tätig, zuletzt bei der Y._ GmbH. Infolge rezidivierender Rückenbeschwerden war er vom 9. Juni bis 4. Oktober 1999 zu 100 %, danach bis
22. November 1999 zu 50 % und ab 31. Januar 2000 wieder zu 100 % arbeitsunfähig. Mit Anmeldung vom 15. Februar 2000 ersuchte er um Leistungen der Invalidenversicherung. Die IV-Stelle des Kantons Zürich lehnte mit Verfügung vom 7. August 2000 (bestätigt mit Entscheid des Sozialversicherungsgerichts des Kantons Zürich vom 13. November 2000) berufliche Massnahmen ab. Mit Verfügung vom 4. Oktober 2000 sprach sie ihm eine halbe Invalidenrente bei einem Invaliditätsgrad von 58 % zu.
B.- Die hiegegen erhobene Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 29. Juni 2001 ab.
C.- I._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben und ihm eine ganze Invalidenrente zu gewähren.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
D.- Das Eidgenössische Versicherungsgericht liess die Akten der psychiatrischen Untersuchung in Zusammenhang mit dem stationären Aufenthalt vom 9. bis 25. September 1999 im Spital X._ edieren und stellte diese den Parteien zur Kenntnisnahme zu.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die Bestimmungen und Grundsätze über den Begriff der Invalidität (Art. 4 Abs. 1 IVG), den Anspruch auf eine Invalidenrente (Art. 28 Abs. 1 und 1bis IVG) und die Bemessung des Invaliditätsgrades nach der allgemeinen Methode des Einkommensvergleichs (Art. 28 Abs. 2 IVG; BGE 126 V 75 mit Hinweisen) zutreffend dargelegt. Dasselbe gilt für die Bedeutung ärztlicher Stellungnahmen für die Invaliditätsbemessung (BGE 125 V 261 Erw. 4 mit Hinweisen), den Beweiswert eines ärztlichen Berichts (BGE 125 V 352 Erw. 3a mit Hinweis) und den im Sozialversicherungsrecht üblichen Beweisgrad der überwiegenden Wahrscheinlichkeit (BGE 126 V 360 Erw. 5b mit Hinweisen). Darauf wird verwiesen.
2.- Streitig ist, ob der Versicherte Anspruch auf eine halbe oder ganze Invalidenrente hat.
3.- Der Beschwerdeführer macht geltend, die organische Ursache seines Leidens sei noch nicht abgeklärt. Er könne sich nur mit äusserster Mühe fortbewegen und keine neue Stelle antreten. Es werde ihm auf Grund seiner rheumatologischen und psychischen Probleme noch immer volle Arbeitsunfähigkeit attestiert. Bei Anerkennung seiner Leiden durch eine Rente könnte eine gewisse Stabilisierung erreicht werden, wobei auch dann höchstens ein Arbeitspensum von 10 bis 15 Stunden denkbar wäre und sein Invaliditätsgrad über 66 2/3 % liegen würde. Selbst wenn er nur zu 58 % invalid wäre, könne er kein Einkommen von Fr. 23'052.- erzielen.
Bei den einfachen und repetitiven Arbeiten gemäss Lohnstrukturerhebung des Bundesamtes für Statistik handle es sich um Hilfstätigkeiten, sodass ein genereller Abzug von 25 % gerechtfertigt sei. Zusätzlich sei zu berücksichtigen, dass er bei Teilzeitarbeit weniger als die Hälfte eines Vollerwerbstätigen verdienen würde.
4.- a) Im Austrittsbericht vom 4. Oktober 1999 diagnostizierte das Spital X._, Rheumaklinik und Institut für Physiotherapie mit Poliklinik, ein Panvertebralsyndrom mit subakutem lumbospondylogenem Syndrom rechts bei Bandscheibenprotrusion L3/4 und L4/5, mediolateraler Diskushernie rechts L5/S1 mit möglicher Irritation der Nervenwurzel S1 rechts, hypertropher Spondylarthrose L5/S1 mit mässiggradiger Einengung des Recessus lateralis rechts, Flachrücken und Status nach Verhebemanöver im Juni 1999. Im bisherigen Beruf als Bauarbeiter im Akkord sei von einer vollen Arbeitsunfähigkeit auszugehen. Aus rheumatologischer Sicht bestehe für leichtere wechselbelastende Tätigkeiten in ergonomisch günstiger Position mit Gewichtslimite von 10 kg eine Arbeitsfähigkeit von 50 %. Im Bericht vom 12. Mai 2000 bestätigte das Spital X._ nach nochmaliger Untersuchung des Versicherten seine frühere Diagnose, reduzierte jedoch die Gewichtslimite auf 5 kg. Die Arbeitsfähigkeit von 50 % sei ab sofort zumutbar mit Steigerungsmöglichkeit auf 70 % nach zwei Monaten.
Dr. med. G._, Facharzt für Innere Medizin, führt in seinem Bericht vom 3. März 2000 im Wesentlichen dieselben Leiden wie das Spital X._ an und erwähnt zudem einen leicht depressiven Zustand. Der Versicherte könne auf Grund seiner Rückenprobleme nicht mehr auf dem Bau arbeiten. Eine leichte wechselbelastende Tätigkeit in ergonomisch günstiger Position mit einer Gewichtslimite von 10 kg sei halbtags zumutbar.
b) Die Vorinstanz hat sich bei ihrer Bemessung des Invaliditätsgrades zu Recht auf diese schlüssigen und übereinstimmenden Berichte des Hausarztes sowie der Spitalärzte abgestützt und richtigerweise zu Gunsten des Versicherten die lediglich prospektive Steigerung der Arbeitsfähigkeit auf 70 % ausser Acht gelassen. Daran vermag der Einwand des Versicherten, seine Arbeitsfähigkeit sei auch aus psychischen Gründen eingeschränkt, nichts zu ändern. Zwar erwähnte Dr. med. G._ einen leicht depressiven Zustand, doch mass er diesem keinen Einfluss auf die Arbeitsfähigkeit zu. Anlässlich der im Zusammenhang mit der Hospitalisation vom 9. bis 25. September 1999 in Auftrag gegebenen Abklärung in der hausinternen Psychiatrischen Klinik wurde der Verdacht einer somatoformen Schmerzstörung geäussert, aber keine Einschränkung der Arbeitsfähigkeit festgehalten.
5.- Für die weitere Bemessung des Invaliditätsgrades ist somit von einer Arbeitsfähigkeit von 50 % in einer leichten Hilfstätigkeit auszugehen.
Das Valideneinkommen von Fr. 52'800.- ist unbestritten und auf Grund der Akten nicht zu beanstanden. Der Ermittlung des Invalideneinkommens hat die Vorinstanz zutreffend die Lohnstrukturerhebung des Bundesamtes für Statistik (LSE) von 1998, Anforderungsniveau 4, und demnach einen monatlichen Lohn von Fr. 4268.- zugrunde gelegt. Unter Berücksichtigung einer durchschnittlichen wöchentlichen Arbeitszeit für 1998 von 41,9 Stunden (Die Volkswirtschaft, Heft 1/2002, Tabelle B 9.2, S. 92) sowie einer Nominallohnentwicklung von 0,3 % für 1999 und 1,3 % für 2000 (Die Volkswirtschaft, Heft 1/2002, Tabelle B 10.2, S. 93) ergibt dies bei einem halben Arbeitspensum ein jährliches Einkommen von Fr. 27'254.-. Entgegen der Ansicht des Versicherten ist unter Berücksichtigung aller Umstände, d.h. gesundheitlicher Einschränkungen wie auch allfälliger Einbussen wegen Teilzeitarbeit und anderes, ein Abzug von maximal 25 % möglich (BGE 126 V 80 Erw. 5b/cc). In vergleichbaren Fällen hat das Eidgenössische Versicherungsgericht einen Abzug von 15 % als angemessen erachtet (vgl. etwa BGE 126 V 82 Erw. 7b), sodass die Bemessung der Vorinstanz nicht zu beanstanden ist. Das zumutbare Invalideneinkommen beträgt demnach Fr. 23'166.-.
Bei einem Vergleich des hypothetischen Einkommens ohne Invalidität mit dem Invalideneinkommen resultiert ein Invaliditätsgrad von 56,1 %, welcher Anspruch auf eine halbe Rente begründet. Der kantonale Entscheid besteht somit zu Recht.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 8. Juli 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Die Präsidentin der IV. Kammer:
Die Gerichtsschreiberin: