A.- Der 1954 geborene B._ war seit 1987 (zunächst im Rahmen einer Saisonnier-, später einer Ganzjahresbeschäftigung) als Schaler bei der Z._ AG angestellt. Er leidet an Rückenbeschwerden, welche sich im September 1997 verschlimmerten, und arbeitete deshalb ab
18. September 1997 nicht mehr.
Am 14. Juli 1998 meldete sich B._ bei der Invalidenversicherung zum Leistungsbezug an. Die IV-Stelle des Kantons Zürich zog Auskünfte der Arbeitgeberin vom 27. Juli 1998, Berichte der IV-internen Berufsberatung vom 26. November 1998 und 27. April 1999, des Spitals X._ vom 24. Juni 1998 (Rheumaklinik und Institut für Physikalische Medizin) und 11. März 1999 (Psychiatrische Poliklinik) sowie eine Stellungnahme des IV-internen ärztlichen Dienstes vom 17. Juni 1999 bei. Daraufhin sprach sie dem Versicherten - nach Durchführung des Vorbescheidverfahrens - mit Verfügung vom 12. November 1999 für die Zeit ab 1. September 1998 auf Grund eines Invaliditätsgrades von 58 % eine halbe Rente (mit Zusatzrente und Kinderrenten) zu.
B.- Die dagegen erhobene Beschwerde mit dem Antrag auf Zusprechung einer ganzen Rente, eventualiter Einholung eines ergänzenden medizinischen Gutachtens, wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 26. März 2001).
C.- Mit Verwaltungsgerichtsbeschwerde lässt B._ das Rechtsbegehren stellen, es sei der kantonale Entscheid aufzuheben und ihm mit Wirkung ab 1. September 1998 eine ganze Rente zuzusprechen; eventuell sei die Sache zu ergänzender Abklärung an die IV-Stelle zurückzuweisen. Zur Stützung seines Standpunktes lässt er unter anderem ein ärztliches Zeugnis von Frau Dr. med. O._, Psychiatrie und Psychotherapie FMH, vom 11. Mai 2000 einreichen.
Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherung auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- a) Im vorinstanzlichen Entscheid werden die gesetzlichen Bestimmungen und Grundsätze über den Begriff der Invalidität (<ref-law>), insbesondere den invalidisierenden Charakter seelischer Störungen mit Krankheitswert (<ref-ruling>; AHI 2000 S. 151 Erw. 2a mit Hinweisen), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG), die Ermittlung des Invaliditätsgrades bei Erwerbstätigen nach der Methode des Einkommensvergleichs (<ref-law>; <ref-ruling> Erw. 2a und b), die Aufgabe des Arztes oder der Ärztin im Rahmen der Invaliditätsbemessung (<ref-ruling> Erw. 4, 115 V 134 Erw. 2, 114 V 314 Erw. 3c, 105 V 158 Erw. 1) und den Beweiswert ärztlicher Berichte und Gutachten (<ref-ruling> Erw. 3a mit Hinweis) zutreffend dargelegt. Darauf wird verwiesen.
b) Der Rentenanspruch nach <ref-law> entsteht gemäss <ref-law> frühestens in dem Zeitpunkt, in dem die versicherte Person während eines Jahres ohne wesentlichen Unterbruch durchschnittlich mindestens zu 40 % arbeitsunfähig gewesen ist. Die einjährige Wartezeit gilt in dem Zeitpunkt als eröffnet, ab welchem eine Arbeitsunfähigkeit von mindestens 20 % vorliegt (AHI 1998 S. 124 Erw. 3c). Die Arbeitsunfähigkeit im Sinne von <ref-law> bezieht sich auf den bisherigen Beruf und ist nicht mit der für den Rentenanspruch erforderlichen Erwerbsunfähigkeit gleichzusetzen, zu deren Beurteilung auf den gesamten in Betracht fallenden ausgeglichenen Arbeitsmarkt abzustellen ist. Damit eine Rente zugesprochen werden kann, müssen sowohl die durchschnittliche Arbeitsunfähigkeit während eines Jahres als auch die nach Ablauf der Wartezeit bestehende Erwerbsunfähigkeit die für die betreffende Rentenabstufung erforderliche Mindesthöhe erreichen (<ref-ruling> Erw. 6b/cc).
2.- Streitig und zu prüfen ist der Rentenanspruch des Beschwerdeführers. Dessen Bestehen hängt davon ab, ob und in welchem Ausmass die erforderliche Arbeits- und Erwerbsunfähigkeit vorlag.
3.- a) In medizinischer Hinsicht gelangte die Vorinstanz gestützt auf die Berichte der Rheumaklinik des Spitals X._ vom 24. Juni 1998 und der Psychiatrischen Poliklinik des Spitals X._ vom 11. März 1999 zum Ergebnis, der Beschwerdeführer könne seine angestammte Tätigkeit als Fassadenarbeiter nicht mehr ausüben; eine abwechslungsreiche Tätigkeit in vorwiegend stehender Position, ohne Heben schwerer Lasten und ohne gefährliche Arbeiten, sei ihm jedoch in einem Halbtags-Pensum zumutbar.
b) Gemäss dem Bericht des Instituts für Physikalische Medizin des Spitals X._ vom 24. Juni 1998 über die vom 27. April bis 19. Juni 1998 durchgeführte arbeitsbezogene Rehabilitation ist dem Versicherten die angestammte, sehr schwere Tätigkeit als Fassadenbauer nicht mehr zumutbar, während er eine adaptierte, leichte bis mittelschwere Tätigkeit mit Gewichtsbelastungen beim Heben bis max. 20 kg zu 100 % ausüben kann. Dieser Bericht, welcher auf einer Evaluation der funktionellen Leistungsfähigkeit beruht und die geklagten Rückenbeschwerden (Diagnose eines chronischen lumbospondylogenen Schmerzsyndroms mit/bei Wirbelsäulenfehlhaltung/-fehlform [Flachrücken] und degenerativen Veränderungen [Osteochondrose, mediane Diskushernie L5/S1]) in die Beurteilung einbezieht, wobei die begutachtenden Ärzte auf dieser Grundlage zu schlüssigen und nachvollziehbaren Folgerungen gelangten, ist geeignet, für das somatische Beschwerdebild und dessen Auswirkungen auf die Arbeitsfähigkeit den erforderlichen Beweis zu erbringen.
c) In Bezug auf das psychische Beschwerdebild liegen folgende ärztliche Stellungnahmen vor:
aa) Die Ärzte der Psychiatrischen Poliklinik des Spitals X._ diagnostizieren in ihrem Bericht vom 11. März 1999 eine längere depressive Reaktion im Rahmen von psychosozialen Belastungssituationen. Seit der Schmerzexazerbation im September 1997 habe sich ein agitiert-depressives Zustandsbild entwickelt, was möglicherweise die Chronifizierung der Rückenbeschwerden unterstütze. Letztere und das depressive Zustandsbild des Patienten hätten in ihrer gegenseitigen Verstärkung einen erheblichen Krankheitswert und schränkten die Arbeitsfähigkeit beträchtlich ein. In welchem Ausmass eine Arbeitsunfähigkeit bestehe, könne nicht abschliessend beurteilt werden. Eine weitere Arbeitsunfähigkeit von 100 % würde Rehabilitationsmassnahmen verunmöglichen, welche unbedingt notwendig seien, um eine bleibende Invalidität abzuwenden. Längerfristig sei der Versicherte als zu 50 % arbeitsunfähig zu betrachten.
Ein Arbeitstraining in einer den Beschwerden angepassten Tätigkeit (abwechslungsreiche Arbeit in vorwiegend stehender Position, ohne Heben schwerer Lasten und Arbeit im Gerüst) solle ab sofort durchgeführt werden. In einer behinderungsangepassten Tätigkeit bestehe ab sofort eine Arbeitsfähigkeit im zeitlichen Umfang von 4 1⁄2 Stunden pro Tag.
bb) Frau Dr. med. O._, welche den Versicherten seit dem 21. Juli 1999 behandelt, diagnostiziert in ihrem Zeugnis vom 11. Mai 2000 Anpassungsstörungen nach einem belastenden Lebensereignis mit vorwiegender Beeinträchtigung von anderen Gefühlen, hauptsächlich Angst, mit depressiver Grundstimmung (ICD 10 F 43.23). Im Verlauf der Therapie habe sich der Zustand leicht gebessert. Die Arbeitsfähigkeit betrage seit Frühjahr 1999 bis auf weiteres "nicht mehr als 25 bis 30 %". Prognostisch könne eine Verbesserung der Arbeitsfähigkeit erwartet werden.
d) aa) Aus dem Bericht des Instituts für Physikalische Medizin des Spitals X._ vom 24. Juni 1998 geht hervor, dass der Versicherte in seiner bisherigen Tätigkeit als Fassadenbauer seit dem 13. September 1997 zu 100 % arbeitsunfähig ist. Der Anspruch auf eine ganze Rente entstand daher frühestens im September 1998, falls eine Erwerbsunfähigkeit von mindestens 66 2/3 % gegeben war.
bb) Gemäss der soeben zitierten ärztlichen Stellungnahme besteht auf Grund des somatischen Beschwerdebildes hinsichtlich einer adaptierten, leichten bis mittelschweren Tätigkeit mit Gewichtsbelastungen beim Heben bis maximal 20 kg eine 100 %ige Arbeitsfähigkeit. Einschränkungen der Erwerbsfähigkeit ergeben sich somit in erster Linie aus dem psychischen Beschwerdebild. Diesbezüglich stellten Verwaltung und Vorinstanz auf den Bericht der Psychiatrischen Poliklinik des Spitals X._ vom 11. März 1999 ab.
Dieser enthält jedoch widersprüchliche Aussagen, wird doch einerseits erklärt, das Ausmass der Arbeitsunfähigkeit könne nicht abschliessend beurteilt werden, andererseits aber die Zumutbarkeit einer angepassten Tätigkeit mit einem Halbtages-Pensum bejaht. Selbst wenn mit dem kantonalen Gericht angenommen wird, die Unschlüssigkeit beziehe sich nur auf die frühere Arbeitsunfähigkeit (also jene vor März 1999), erwiese sich der Sachverhalt als nicht hinreichend geklärt, da bereits der Zeitraum ab September 1998 relevant ist. Die Stellungnahme von Frau Dr. med. O._ vom 11. Mai 2000 ist von geringer Aussagekraft, bezieht sich ebenfalls nur auf den Zeitraum ab Frühjahr 1999 und weicht zudem in Bezug auf die Bezifferung der Restarbeitsfähigkeit vom Bericht der Psychiatrischen Poliklinik vom 11. März 1999 ab. Eine Stellungnahme des Psychiaters Dr. med.
J._, der den Versicherten offenbar vor Frau Dr. med.
O._ behandelt hatte, wurde nicht eingeholt. Unter diesen Umständen ist der medizinische Sachverhalt in Bezug auf das psychische Beschwerdebild und dessen Auswirkungen auf die Arbeitsfähigkeit nicht hinreichend geklärt, liegen doch über die Entwicklung bis März 1999 keine und über die damalige Situation sowie die weitere Entwicklung einander widersprechende Aussagen vor. Die Sache ist zur Ergänzung der entsprechenden Abklärungen an die IV-Stelle zurückzuweisen.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird in dem Sinne
gutgeheissen, dass der Entscheid des Sozialversicherungsgerichts
des Kantons Zürich vom 26. März 2001 und
die Verfügung vom 12. November 1999 aufgehoben werden
und die Sache an die IV-Stelle des Kantons Zürich zurückgewiesen
wird, damit sie, nach erfolgter Abklärung
im Sinne der Erwägungen, über den Rentenanspruch neu
verfüge.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von
Fr. 2000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Das Sozialversicherungsgericht des Kantons Zürich wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich, der Ausgleichskasse
des Kantons Zürich und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 26. November 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: