A.- M._, geb. 1950, war von Mai 1986 bis Ende April 2000 bei der E._ AG mit Sitz in Y._ als ungelernter Maurer angestellt gewesen. Gemäss Bericht der Arbeitgeberin (vom 1. Februar 1999) war er ab 22. Januar 1998 krankheitsbedingt der Arbeit ferngeblieben. Auf Anmeldung zum Bezug von Leistungen der Invalidenversicherung (vom 19. Januar 1999) hin klärte die IV-Stelle des Kantons Zürich die medizinischen sowie die beruflich-erwerblichen Verhältnisse ab. Mit Verfügung vom 3. November 1999 verneinte sie einen Anspruch auf eine Invalidenrente mangels rentenbegründender Invalidität.
B.- Die dagegen eingereichte Beschwerde wies das Sozialversicherungsgericht des Kantons Zürich ab (Entscheid vom 15. März 2001).
C.- M._ lässt Verwaltungsgerichtsbeschwerde führen und beantragen, in Aufhebung des kantonalen Entscheides und der Verwaltungsverfügung vom 3. November 1999 sei die "Sache zur allfälligen ergänzenden Sachverhaltsabklärung und zur Berechnung und Festsetzung der gesetzlichen Leistungen aus IVG an die Vorinstanz bzw. an die Beschwerdegegnerin zurückzuweisen". Ferner sei ihm die unentgeltliche Verbeiständung zu gewähren.
Die IV-Stelle schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde.
Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Streitig und zu prüfen ist, ob der Beschwerdeführer an einem Gesundheitsschaden leidet, welcher ihn in seiner Arbeits- und Erwerbsfähigkeit so sehr beeinträchtigt, dass daraus ein rentenbegründender Invaliditätsgrad (Art. 28 IVG) resultiert. Die Vorinstanz hat die dabei massgebenden Bestimmungen und Grundsätze zutreffend dargelegt.
Darauf wird verwiesen.
2.- Kantonales Gericht und Verwaltung haben entscheidwesentlich auf die Angaben der Dres. med. K._, visierender Oberarzt, und W._, Assistenzarzt, Klinik und Institut für Physikalische Medizin am Spital (Bericht vom 6. April 1999) abgestellt. Diese diagnostizierten persistierende, belastungsabhängige Schmerzen und Einschlafgefühl an beiden Händen (Status nach Karpaltunnelsyndromoperationen an rechter und linker Hand am 23. Januar und
25. Februar 1998) sowie ein cervico- und lumbospondylogenes Schmerzsyndrom bei/mit leichter Wirbelsäulenfehlhaltung mit muskulärer Dysbalance, mittelgrosser, medial bis medio-lateral rechts liegender Diskushernie C4/5 mit Myelom-Behinderung, flachbogig medio-lateral links liegender Diskushernie C5/6, leichter Spondylose L3/4 und L4/5 und Symptomausweitung (fünf positive Waddellzeichen) mit generalisiertem Weichteilschmerzsyndrom. Für die über Jahre hinweg ausgeübte Tätigkeit als Maurer bestünde eine Arbeitsfähigkeit von 50%, leichte oder mittelschwere Arbeiten seien ohne Einschränkungen der Arbeitsfähigkeit möglich.
3.- a) In medizinischer Hinsicht ist nach den Akten von erheblichen Befunden auszugehen, deren Relevanz unter den Aerzten umstritten ist. Dr. med. S._, Spezialarzt FMH für Physikalische Medizin, speziell Rheumatologie, diagnostizierte seinerseits ein chronifiziertes Schmerzsyndrom der Halswirbelsäule bei degenerativen Veränderungen (Bandscheibenschaden), ein nicht objektivierbares Schmerzsyndrom beider Hände nach operativer Nervendekompression beidseits sowie wiederholte Lumbalgien. Auf Grund der chronischen, ausgeweiteten Schmerzsymptomatik sei die Belastbarkeit bleibend reduziert; die Wiederaufnahme der Arbeit als Maurer sei nicht zumutbar, aus "rheumatologischer Sicht besteh(e) keine bleibende Arbeitsfähigkeit für eine leichte körperliche Arbeit (Arbeit in wechselnder Position, keine Lasten über 5-10kg)" (Bericht vom 4. Januar 2000). Seine Stellungnahme zur Arbeitsfähigkeit weicht, entgegen der Vorinstanz, insoweit grundsätzlich von derjenigen der Rheumatologen des Universitätsspitals Zürich (vgl. Erw. 2a in fine hievor) ab, als er, anders als diese, unmissverständlich eine Arbeitsfähigkeit (auch) für leichte körperliche Tätigkeiten verneint. Die zeitlichen Verhältnisse erhellen - die strittige Verwaltungsverfügung erging am 3. November 1999, der Beschwerdeführer stand seit 18. November 1999 bei Dr. med. Schildknecht in Behandlung, dessen Arztbericht datiert vom 4. Januar 2000 -, dass die Angaben des Dr. med.
S._ geeignet sind, die Beurteilung im Zeitpunkt des Erlasses der Verwaltungsverfügung (3. November 1999) zu beeinflussen (BGE 121 V 366 Erw. 1b mit Hinweis). Sie sind daher, entgegen der Vorinstanz, für den hier zu beurteilenden Fall grundsätzlich massgeblich.
b) In Würdigung der gesamten medizinischen Akten erscheint der Sachverhalt als ungenügend abgeklärt. Beim Bericht der Rheumatologen des Spitals (vom 6. April 1999) handelt es sich nicht um ein Administrativgutachten, sondern bloss um eine erweiterte ärztliche Berichterstattung, der die rechtsprechungsgemäss erforderlichen Voraussetzungen abgehen, unter denen einem Arztbericht volle Beweiskraft zukommt (BGE 122 V 160 Erw. 1c mit Hinweisen): Es ist, wie in der Verwaltungsgerichtsbeschwerde zu Recht gerügt wird, nicht klar, ob der Rheumaklinik sämtliche Akten zur Verfügungen standen; es fehlt eine ausführliche Aufnahme der geklagten (subjektiven) Beschwerden und deren kritische Gegenüberstellung mit den objektiven Befunden, worunter Diskushernien C4/5 und C5/6. Insbesondere die Widersprüche zum Bericht des Dr. med. Schildknecht (vom 4. Januar 2000), seines Zeichens auch Spezialarzt FMH für Rheumatologie, lassen sich im Wege der Beweiswürdigung nicht ausräumen.
Die Vorinstanz durfte demnach nicht abschliessend auf den Bericht der Rheumatologen des Spitals (vom 6. April 1999) abstellen. Die IV-Stelle wird im Rahmen von ergänzenden Abklärungen dem Umstand Rechnung tragen, dass Dr. med.
B._, ebenfalls Spezialarzt FMH für Rheumaerkrankungen "im Hinblick auf die zervikale Dekompression und Diskushernienoperation" eine neurologische Abklärung für "dringend" erachtete (Bericht vom 5. April 2001). Im Lichte des Berichtes des E._, Arzt und Psychoanalytiker, vom 29. August 2001 wird auch der Frage nachzugehen sein, ob allenfalls psychiatrische Aspekte mitzuberücksichtigen sind.
4.- Das Verfahren ist kostenlos (Art. 134 OG). Dem Ausgang des letztinstanzlichen Prozesses entsprechend steht dem Beschwerdeführer eine Parteientschädigung zu (Art 135 in Verbindung mit Art. 159 OG); damit ist sein Antrag auf Gewährung der unentgeltlichen Verbeiständung gegenstandslos.
Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde werden
der Entscheid des Sozialversicherungsgerichts des
Kantons Zürich vom 15. März 2001 und die Verfügung der
IV-Stelle des Kantons Zürich vom 3. November 1999 aufgehoben
und es wird die Sache an die Verwaltung zurückgewiesen,
damit sie, nach ergänzenden Abklärungen
im Sinne der Erwägungen über den Rentenanspruch neu
verfüge.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von
Fr. 2500.- zu bezahlen.
IV.Das Sozialversicherungsgericht des Kantons Zürich wird über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 16. Januar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der III. Kammer:
Der Gerichtsschreiber: