A.- Der 1953 geborene D._ ist seit 1981 als selbstständiger Maurer und Gipser tätig. Am 22. Oktober 1996 meldete er sich unter Hinweis auf lumbale Rückenbeschwerden und Schmerzausstrahlung, Gefühlsstörungen und Schwäche in beiden Beinen seit Oktober 1995 bei der Invalidenversicherung zum Leistungsbezug an.
Die IV-Stelle des Kantons Zürich zog verschiedene Arztberichte bei und klärte die Betriebs- und Einkommensverhältnisse sowie mögliche Eingliederungsmassnahmen ab (Bericht vom 27. Januar 1998). Gestützt darauf lehnte sie das Leistungsbegehren von D._ bei einem Invaliditätsgrad von 38 % ab (Verfügung vom 3. Juli 1998).
B.- Hiegegen erhob D._ Beschwerde und liess beantragen, es sei ihm unter Aufhebung der Verwaltungsverfügung eine Invalidenrente bei einem Invaliditätsgrad von 75 % zu gewähren. Das Sozialversicherungsgericht des Kantons Zürich hob in teilweiser Gutheissung die Verfügung vom 3. Juli 1998 auf, legte den Invaliditätsgrad ab 1. Dezember 1996 auf 46 % fest und wies die Sache zur Prüfung der Frage, ob ein wirtschaftlicher Härtefall vorliege, an die IV-Stelle des Kantons Zürich zurück (Entscheid vom 23. Juni 2000).
C. Mit Verwaltungsgerichtsbeschwerde lässt D._ beantragen, vorinstanzlicher Entscheid und Verwaltungsverfügung seien aufzuheben und es sei ihm ab Dezember 1996 eine ganze Invalidenrente zuzusprechen; eventuell sei ein Gutachten betreffend die Entwicklung des Gesundheitszustandes seit 1996 anzuordnen.
Die IV-Stelle des Kantons Zürich schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung sich nicht hat vernehmen lassen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die für die Beurteilung des Rentenanspruchs massgebenden Gesetzesbestimmungen über den Begriff der Invalidität (<ref-law>), die Voraussetzungen und den Umfang des Rentenanspruchs (Art. 28 Abs. 1 und 1bis IVG) sowie die Ermittlung des Invaliditätsgrades bei Erwerbstätigen nach der allgemeinen Methode des Einkommensvergleichs (<ref-law>) richtig wiedergegeben.
Darauf kann verwiesen werden. Gleiches gilt für die Erwägungen zur Bedeutung ärztlicher Auskünfte für die Invaliditätsschätzung (<ref-ruling> Erw. 4 mit Hinweisen) und zur Mitwirkungspflicht der Parteien (<ref-law>).
2.- Streitig und zu prüfen sind zunächst das Ausmass des eingetretenen Gesundheitsschadens und dessen Auswirkungen auf die Arbeitsfähigkeit.
a) Der Beschwerdeführer, langjähriger Inhaber eines Baugeschäftes, welches er im Rahmen selbstständiger Erwerbstätigkeit mit einem Angestellten betrieb, wurde wegen seines Rückenleidens am 22. Oktober 1995 arbeitsunfähig.
Nach konservativer medizinischer Behandlung unterzog er sich in der Rheumaklinik und Institut für physikalische Medizin am Spital X._ (USZ) einer arbeitsbezogenen Rehabilitation, welche von Oktober bis Dezember 1996 dauerte, und über welche das USZ am 10. Februar 1997 Bericht erstattete. Zur Arbeitsfähigkeit nahm dieses in dem Sinne Stellung, dass ab 1. Januar 1997 für leichte bis mittelschwere körperliche Arbeit in wechselnden Positionen eine 100%ige Arbeitsfähigkeit bestehe; für seine Tätigkeit als selbstständiger Maler und Gipser bleibe der Beschwerdeführer für die anfallende schwere körperliche Arbeit zu 100 % arbeitsunfähig; medizinisch theoretisch bestehe hier für die anfallende leichte bis mittelschwere Tätigkeit eine 50%ige Arbeitsfähigkeit. In der Folge unterzog sich der Versicherte am 26. Februar 1997 einer Diskushernienoperation, und zwar einer Hemilaminektomie L4/L5 links zur Sanierung der Diskushernie L4/L5 links, welche Dr. med.
B._, Spezialarzt für Neurochirurgie, durchführte. In Berichten vom 7. Juni 1997 und 10. Februar 1998 nahm Dr.
med. B._ zur Arbeitsfähigkeit insofern Stellung, als er für angepasste Tätigkeiten eine 50%ige Arbeitsfähigkeit gegeben erachtete; die von der Verwaltung aufgezeigten Veweisungsberufe ("Alternativberufe") seien den Belastungen des Patienten "inadäquat", indem er in diesen Berufen, mit Ausnahme von Hilfsarbeiter/Kontrolleur, dem Tragen und Heben von Lasten ausgesetzt sei und dazu unphysiologische Rückenstellungen einnehmen müsse.
Mit der daraufhin von der IV-Stelle beabsichtigten Neuabklärung der Arbeitsfähigkeit im USZ, wo sich der Versicherte von Oktober bis Dezember 1996 zur erwähnten ergonomischen Abklärung aufgehalten hatte, war der Beschwerdeführer nicht einverstanden, weil das USZ behandelndes Spital und damit nicht voreingenommen sei. Da die Verwaltung nicht bereit war, eine Expertise bei dem vom Beschwerdeführer gewünschten Privatdozenten Dr. med. F._ zu veranlassen, entschied die IV-Stelle androhungsgemäss aufgrund der vorliegenden Akten. Das kantonale Gericht schützte dieses Vorgehen und legte seiner Beurteilung für die Zeit ab 1. Januar 1997 die vom USZ attestierte volle Arbeitsfähigkeit in leichten bis mittelschweren Tätigkeiten zu Grunde.
b) Es trifft zu, dass die behandelnden Ärzte grundsätzlich nicht mit der Erstattung von Gutachten betraut werden sollten. Denn der Behandlungsauftrag einerseits, der Gutachtensauftrag anderseits, sind wesensmässig zwei verschiedene Dinge, die miteinander in Konflikt geraten können.
Die Pflichten eines Sachverständigen lassen sich nicht mit dem besonderen Vertrauensverhältnis, das dem Behandlungsvertrag mit dem Patienten eigentümlich ist, vereinbaren (<ref-ruling> Erw. 4; AHI 2001 S. 114 Erw. 3b/cc; Hennies, Allgemeine Rechtsgrundlagen der medizinischen Begutachtung, in: Marx/Klepzig [Hrsg. ], Basiswissen medizinische Begutachtung, Stuttgart/New York 1998, S. 13; Meyer-Blaser, Rechtliche Vorgaben in der medizinischen Begutachtung, in: Rechtsfragen der medizinischen Begutachtung in der Sozialversicherung, St. Gallen 1997, S. 33).
Indessen geht es hier nicht um eine Begutachtung im Sinne der Einholung eines für eine streitige Tatsachenfrage Aufschluss versprechenden Beweismittels, sondern um eine Rückfrage im Rahmen der medizinischen Berichterstattung der behandelnden Ärzte. Mit der Durchführung der Diskushernienoperation am 26. Februar 1997 hatte sich - möglicherweise - die Situation in einer Art und Weise verändert, welche geeignet war, die Stellungnahme des USZ vom 10. Februar 1997 zur Arbeitsunfähigkeit zu modifizieren, was aufgrund der Angaben des Dr. med. B._ zumindest in Betracht zu ziehen ist. Auch nach der erfolgten Operation ging er nämlich von einer verminderten Arbeitsfähigkeit im Umfang von 50 % mit Aussicht auf eine Steigerung auf 100 % bei einer leidensangepassten Tätigkeit aus (Berichte vom 7.
Juni 1997 und 10. Februar 1998). Dass sich die IV-Stelle aufgrund des unklaren Ausmasses des Gesundheitsschadens nach der Operation und der daraus resultierenden Arbeitsfähigkeit des Beschwerdeführers entschloss, die Sache erneut dem USZ zur Nachkontrolle vorzulegen, lässt sich beweisrechtlich nicht beanstanden. Die Einholung einer Administrativexpertise bei einem mit der Sache bisher nicht befassten Gutachter wäre dann angezeigt gewesen, wenn das USZ im Rahmen seiner Nachkontrolle zu Ergebnissen gelangt wäre, die mit den Angaben des Dr. med. B._ unvereinbar sind.
Unter diesem Gesichtswinkel hält der kantonale Gerichtsentscheid somit Stand.
3.- Weiter stellt sich die Frage der anwendbaren Methode zur Invaliditätsbemessung, insbesondere bezüglich der Festlegung des bestrittenen Valideneinkommens. Verwaltung und Vorinstanz haben den Invaliditätsgrad anhand eines allgemeinen Einkommensvergleichs ermittelt.
a) Die Parteien sind sich darin einig, dass der Versicherte als selbstständiger Geschäftsinhaber seinen Betrieb aller Voraussicht nach im bisherigen Umfang weitergeführt hätte, wie er dies während über 15 Jahren tat. Uneinigkeit herrscht jedoch bezüglich der dem Entscheid zu Grunde zu legenden Einkommensjahre. Je nachdem, welche vor Eintritt des Gesundheitsschadens liegenden Geschäftsabschlüsse berücksichtigt werden, resultieren durchschnittliche Einkommenszahlen, welche im Vergleich zum nunmehr unbestrittenen Invalideneinkommen zu Invaliditätsgraden führen, welche unter oder über 40 % liegen, ja sogar über 66 2/3 % liegen können; Letztes, wenn, wie in der Verwaltungsgerichtsbeschwerde geltend gemacht, das Jahr 1994 ausgeklammert wird, welches als einziges der Geschäftsjahre, mit Verlust abschloss.
b) Es gibt Gründe für und gegen die Berücksichtigung des Geschäftsjahres 1994 bezüglich der Feststellung des hypothetischen durchschnittlichen Einkommens aus selbstständiger Erwerbstätigkeit im Gesundheitsfall: Mit dem Beschwerdeführer lässt sich argumentieren, dass das Jahr 1994 durch ausserordentliche Umstände geprägt war, was sich in einem - soweit ersichtlich - einmaligen negativen Ergebnis niederschlug, wogegen sämtliche weiteren in Betracht fallenden Geschäftsjahre mit beachtlichen Reineinkünften abschlossen. Man kann aber ebenso gut mit der Vorinstanz davon ausgehen, dass Ereignisse der hier das Geschäftsjahr 1994 negativ beeinflussenden Art (Erhalt eines Konkursverlustscheins als Gläubiger über Fr. 77'479. 20) wesensgemäss Teil der selbstständigen Erwerbstätigkeit bilden. Das Valideneinkommen ist daher nicht schlüssig feststellbar.
c) In solchen unklaren Situationen über die Einkommenserzielung im Gesundheitsfall von Selbstständigerwerbenden sieht die Rechtsprechung zu <ref-law> das ausserordentliche Bemessungsverfahren vor, nämlich den - erwerblich gewichteten - Betätigungsvergleich (<ref-ruling> Erw. 2b; AHI 1998 S. 122 Erw. 2c und 254 Erw. 4a). Bei der Betriebsstruktur eines Kleinstgewerbebetreibenden wie dem im Bausektor tätigen Beschwerdeführer liegt es auf der Hand, dass der Geschäftserfolg weitgehend vom Einsatz, den Fähigkeiten und der körperlichen Leistungsfähigkeit des Betriebsinhabers abhängt (ZAK 1991 S. 46 Erw. 2b). Ebenso sind die Kraft Schadenminderungspflicht gebotenen betriebsinternen Umdispositionen (z.B. vermehrter Einsatz bei administrativen Tätigkeiten) in solchen Verhältnissen nur begrenzt möglich, abgesehen von deren abgeschwächten einkommensschöpfenden Wirkung. Diesen Umständen kann im Rahmen eines Einkommensvergleichs nicht genügend Rechnung getragen werden, sodass auch aus diesem Grund ein erwerblich gewichteter Einkommensvergleich vorzunehmen ist. Die Verwaltung hat daher den Invaliditätsgrad nach der ausserordentlichen Methode festzulegen und über den Rentenanspruch ab 1. Dezember 1996 neu zu befinden.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird in dem Sinne
gutgeheissen, dass in Abänderung des Entscheides des
Sozialversicherungsgerichts des Kantons Zürich vom 23. Juni 2000 die Sache an die IV-Stelle des Kantons
Zürich zurückgewiesen wird, damit diese, nach ergänzenden
Abklärungen im Sinne der Erwägungen, über den
Rentenanspruch neu verfüge.
II. Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von
Fr. 2'500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Das Sozialversicherungsgericht des Kantons Zürich wird über eine Neuverlegung der Parteikosten für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden haben.
V.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich, der Ausgleichskasse
Textil, Zürich, und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 13. Juni 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Die Gerichtsschreiberin: