Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die Bestimmungen und Grundsätze über den Rentenbeginn (<ref-law>; Art. 29 und Art. 29ter IVV; <ref-ruling> Erw. 4a mit Hinweisen; AHI 1999 S. 80 Erw. 1a) sowie über die Nachzahlung im Falle verspäteter Anmeldung der versicherten Person (<ref-law>) zutreffend dargelegt. Darauf ist zu verweisen.
2.- In Würdigung der Akten verneinte die Vorinstanz die Entstehung des Rentenanspruchs nach <ref-law> vor dem 1. Juli 1996. Dabei erkannte sie gestützt auf die Stellungnahme des den Beschwerdeführer vom Frühling 1989 bis Ende Oktober 1993 behandelnden Dr.
S._ vom 13. August 1996 auf eine vom 15. Juli bis
31. Oktober 1993 bestehende vollständige Arbeitsunfähigkeit.
Für die Zeit vom 1. November 1993 bis Mai 1997 stellte sie auf die Einschätzung der Orthopädin Frau Dr.
A._ ab, welche den Versicherten ab 13. März 1995 untersucht und behandelt hatte, was den daraus gewonnen Kenntnissen im Rahmen der hier streitigen retrospektiven Festlegung der Arbeitsunfähigkeit besonderes Gewicht verleiht.
Nach den Einschätzungen der Orthopädin (vom 5. Dezember 1996 sowie 3. September 1998) ist der Beschwerdeführer erst ab dem 24. Juli 1995 in rentenrelevantem Ausmass arbeitsunfähig. Für die davor liegende Zeit der Behandlung ab 13. März 1995 attestierte Frau Dr. A._ dagegen in Kenntnis des Beschwerdebildes keine Beeinträchtigung in der Arbeitsfähigkeit. Nachdem der Arbeitsfähigkeitsgrad nach den Beobachtungen von Frau Dr. A._ Schwankungen unterworfen war (Arbeitsunfähigkeitsgrad von 0 bis 100 %), durfte die Vorinstanz angesichts fehlender ärztlicher Behandlung und damit einhergehender aktueller Beobachtungen auch für die Zeit von Anfang November 1993 bis am 12. März 1995 von keiner wesentlichen Arbeitsunfähigkeit ausgehen. Daran vermögen die Stellungnahmen des Dr.
G._ vom 19. Januar 2000 sowie jene des Dr.
S._ vom 23. Oktober 2000 nichts zu ändern, welche dem Beschwerdeführer, ohne auf eigene Wahrnehmungen aus dieser Zeit zurückgreifen zu können, vom 1. November 1993 bis zum 23. Juli 1995 eine vollständige Arbeitsunfähigkeit bescheinigen und sich zudem auf die von Frau Dr. A._ widerlegte Annahme eines sich im gleichbleibenden Ausmass auf die Arbeitsfähigkeit auswirkenden Gesundheitszustandes abstützen. Weiter durfte das kantonale Gericht auf das Einholen der medizinischen Akten des Dr. B._, Spital X._, welcher den Versicherten lediglich im Januar 1990 behandelt hatte, sowie des Dr. Z._, welcher vom Beschwerdeführer ein einziges Mal im Herbst 1993 konsultiert worden war, mithin in einem Zeitpunkt, in dem er ohnehin vom damals behandelnden Dr. S._ zu 100 % arbeitsunfähig geschrieben war, verzichten. Weder von diesen Akten, noch jenen des Dr. D._, welcher den Versicherten im fraglichen Zeitraum am 28. März 1994 untersucht hatte, um ihn anschliessend Frau Dr. A._ zur Weiterbehandlung zuzuweisen, können neue Erkenntnisse erwarten werden, weshalb auf deren Einholung in antizipierter Beweiswürdigung (vgl. <ref-ruling> Erw. 4b, 122 V 162 Erw. 1b mit Hinweis; SVR 2001 IV Nr. 10 S. 28 Erw. 4b) zu verzichten ist. Eine Rückweisung an die Vorinstanz erübrigt sich damit. Unter Berücksichtigung der rechtzeitigen Anmeldung zum Leistungsbezug vom 25. Juli 1996 hat der Beschwerdeführer somit in Nachachtung von <ref-law> ab dem 1. Juli 1996 Anspruch auf eine Invalidenrente, womit sich der vorinstanzliche Entscheid als rechtens erweist. Für die Zeit vor dem 25. Juli 1995 würden Nachzahlungen auf Grund von <ref-law> ohnehin entfallen, wie die Vorinstanz zutreffend erkannte.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich, der Ausgleichskasse des Kantons Zürich und dem Bundesamt für Sozialversicherung
zugestellt.
Luzern, 3. Juli 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: