A.- Der 1961 geborene P._ war seit 1. Februar 1989 bei der Stadt X._ als vollamtlicher Hallenwart angestellt. Am 22. Juli 1991 verletzte er sich bei einem Sturz am rechten Vorderarm (u.a. Fraktur des Radiusköpfchens mit Impression der radialen Hälfte der Gelenkfläche), was eine mehrmonatige Arbeitsunfähigkeit zur Folge hatte.
Am 5. Dezember 1991 nahm er seine Arbeit als Hallenwart wieder voll auf. Wegen zunehmender Beschwerden begab sich P._ im September 1992 erneut in ärztliche Behandlung und ab 5. Oktober 1992 war er zu 66 2/3 % arbeitsunfähig geschrieben. Für den Arbeitsausfall wurden Taggelder der Unfallversicherung ausgerichtet. Auf Ende August 1993 löste die Stadt Dietikon das Arbeitsverhältnis auf. Bereits im Mai des Jahres hatte P._ die Invalidenversicherung um berufliche Massnahmen ersucht. Die damalige Invalidenversicherungs-Kommission holte bei den behandelnden Ärzten Dr. med. H._, Spezialarzt für Innere Medizin FMH, und Dr. med. R._, FMH Orthopädische Chirurgie, Berichte ein und zog die Unfallversicherungsakten bei. Des Weitern liess sie die beruflichen Eingliederungsmöglichkeiten abklären, zu welchem Zwecke sich der Versicherte vom 30. November 1993 bis zur vorzeitigen Beendigung der Massnahme am 30. Januar 1994 im Werkstätten- und Wohnzentrum (WWB) aufhielt.
Mit Verfügungen vom 20. Januar 1995 sprach die kantonale IV-Stelle P._ eine ab 1. Oktober 1993 laufende ganze Invalidenrente (Invaliditätsgrad: 70 %) samt Zusatzrente für die Ehefrau und zwei, ab 1. Januar 1994 drei Kinderrenten zu. Am 8. März 1995 erhielt er zudem eine Invalidenrente der Unfallversicherung (in Form einer Komplementärrente) auf der Grundlage eines Erwerbsunfähigkeitsgrades von 30 % zugesprochen, in welchem Sinne auch das Sozialversicherungsgericht des Kantons Zürich, in Abweisung der gegen den Einspracheentscheid vom 10. Mai 1995 erhobenen Beschwerde, am 13. November 1997 entschied.
Im Rahmen des Ende 1995 eingeleiteten Revisionsverfahrens holte die IV-Stelle bei Dr. med. H._ einen Arztbericht ein, zog weitere Unfallversicherungsakten bei und klärte die Erwerbsmöglichkeiten ab. Gestützt darauf teilte sie P._ mit Vorbescheid vom 22. Juli 1998 mit, die seinerzeitige Rentenzusprache sei zu Unrecht erfolgt, weil bei der Bemessung des Invaliditätsgrades auf die Arbeitsunfähigkeit im angestammten Beruf abgestellt worden sei. Gemäss Abklärungen sei es ihm möglich, mit einer behinderungsangepassten Tätigkeit ein rentenausschliessendes Einkommen zu erzielen. Die Rente werde daher aufgehoben. Am 21. Oktober 1998 erliess die IV-Stelle eine in diesem Sinne lautende Verfügung und hob die ganze Rente auf Ende des folgenden Monats auf.
B.- Die hiegegen erhobene Beschwerde, mit welcher P._ zur Hauptsache die Aufhebung der Verfügung vom 21. Oktober 1998 beantragte, wies das Sozialversicherungsgericht des Kantons Zürich mit Entscheid vom 3. Juli 2000 ab.
C.- P._ lässt Verwaltungsgerichtsbeschwerde führen mit dem hauptsächlichen Rechtsbegehren, es seien Entscheid und Verfügung aufzuheben und die IV-Stelle "zusätzlich zur Zinszahlung auf den ausstehenden Renten zu verpflichten wegen mangelhafter Eröffnung des Vorbescheides".
Während die IV-Stelle auf Abweisung der Verwaltungsgerichtsbeschwerde anträgt, lässt sich das Bundesamt für Sozialversicherung nicht vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Im Streite liegt die vorinstanzlich bestätigte wiedererwägungsweise Aufhebung der ganzen Rente auf Ende November 1998. Die für die Beurteilung dieser Frage massgeblichen Rechtsgrundlagen werden im angefochtenen Entscheid zutreffend dargelegt, sodass darauf verwiesen werden kann. Zu ergänzen ist, dass auch eine unrichtige Feststellung im Sinne der Würdigung des Sachverhalts Anlass für eine Wiedererwägung der darauf beruhenden Verfügung bilden kann (<ref-ruling> Erw. 4a/cc und SVR 1996 EL Nr. 36 S. 108 Erw. 3b/aa).
2.- Die Vorinstanz hat erwogen, die Rentenverfügungen vom 20. Januar 1995 beruhten auf der zweifellos unrichtigen Annahme, der Beschwerdeführer sei als vollamtlicher Hallenwart seit 5. Oktober 1992 gänzlich, ansonsten im Umfang von 66 2/3 % arbeitsunfähig. Diesen Grad der Arbeitsunfähigkeit habe die Verwaltung (damals die Invalidenversicherungs-Kommission) dem Invaliditätsgrad gleichgesetzt, indem sie ohne nähere Begründung das Invalideneinkommen auf Fr. 25'400.- oder 33,33 % des Valideneinkommens (Erwerbseinkommen als Hallenwart) von Fr. 76'000.- beziffert habe. Dabei sei übersehen worden, dass nach Einschätzung der behandelnden Ärzte Dres. med. H._ und R._ dem Beschwerdeführer mit der rechten Hand zwar keine Kraft fordernden Tätigkeiten mit häufigen Drehbewegungen mehr möglich seien, dass indes eine Arbeit, die darauf Rücksicht nehme, voll zumutbar wäre. Da weiter aus den medizinischen Unterlagen keine über die Einschränkung im rechten Vorderarm hinausgehende Verminderung der Leistungsfähigkeit hervorgehe, somit lediglich unfallbedingte gesundheitliche Beeinträchtigungen gegeben seien, bestehe kein Grund, von dem im Unfallversicherungsverfahren ermittelten Invaliditätsgrad von 27 % abzuweichen. Der im Rahmen der Wiedererwägung durchgeführte Einkommensvergleich habe eine Erwerbsunfähigkeit von 30 % ergeben. Im Übrigen resultierte auch bei einer Invaliditätsbemessung auf der Grundlage von Tabellenlöhnen selbst bei einem leidensbedingten Abzug von 10 % vom Durchschnittswert keine anspruchsbegründende Invalidität.
Die Rentenverfügungen vom 20. Januar 1995 erwiesen sich somit im Ergebnis als zweifellos unrichtig und durften daher mit Blick auf die erhebliche Bedeutung ihrer Berichtigung für die Zukunft in Wiedererwägung gezogen werden.
3.- a) Es trifft zu, dass Dr. med. H._ im Bericht vom 2. Juni 1993 angab, es komme nur eine Tätigkeit in Frage, die keine grossen Kraftaufwendungen der rechten Hand erforderten, und dass bei geeigneter Umschulung und entsprechender Arbeit eventuell wieder eine 100 %ige Arbeitsfähigkeit erreicht werden könne. In gleichem Sinne äusserte sich auch Dr. med. R._ in seinem Bericht vom 2. Juni 1993, wonach Tätigkeiten geeignet sind, die keine repetitiven Bewegungen mit grossem Kraftaufwand im Bereich des rechten Vorderarmes erforderten. Im Lichte dieser fachärztlichen Aussagen hat die Vorinstanz zu Recht die ursprüngliche Invaliditätsbemessung in Frage gestellt, soweit diese in Bezug auf jede in Betracht fallende erwerbliche Tätigkeit von einer Arbeitsfähigkeit von höchstens 66 2/3 % ausgeht. Hingegen kann dem kantonalen Gericht nicht ohne weiteres darin gefolgt werden, dem Beschwerdeführer seien grundsätzlich alle Tätigkeiten mit Wechselbelastung ohne starke Beanspruchung der rechten Hand uneingeschränkt zumutbar. Soweit Dr. med. H._ von einer 100 %igen Arbeitsfähigkeit ausgeht, setzt er diese Einschätzung, wie dargelegt, unter den ausdrücklichen Vorbehalt "bei geeigneter Umschulung und entsprechender Arbeit". Sodann scheint auch Dr. med. R._ davon auszugehen, dass geeignete Wiedereingliederungsmassnahmen Voraussetzung für eine nicht erheblich eingeschränkte Arbeitsfähigkeit sind. So führt er in seinem Bericht vom 22. Mai 1995 u.a. aus, es gehe nicht an, dass ein derart junger Patient auf Dauer mit einer vollen Rente versorgt werde, ohne dass solche Vorkehren getroffen worden seien, und seines Erachtens sei die Erwerbsfähigkeit (recte: Arbeitsfähigkeit) für eine Tätigkeit mit Wechselbelastung ohne sehr starke Beanspruchung der rechten Hand medizinisch theoretisch sicher auf mehr als 50 % festzusetzen.
In diesem Sinne äusserte sich Dr. med. R._ auch im Schreiben vom 18. Mai 1993 an Dr. med. H._, wo er auf die Notwendigkeit einer beruflichen Umschulung bzw. Reintegration hinwies, da der Versicherte für belastende Arbeiten als Rechtshänder sicher auf Dauer eine erhebliche Einschränkung behalten werde. Dabei bezeichnete er die Beurteilung des Chirurgen und Orthopäden Dr. med.
T._, welcher den Beschwerdeführer im Auftrag des Unfallversicherers untersucht und begutachtet hatte, als korrekt. Diese Feststellung ist insofern von Bedeutung, als Dr. med. T._ in seinem Bericht vom 23. April 1993 zur Frage der unfallbedingten Arbeitsunfähigkeit u.a.
festhielt, der Versicherte sei nicht mehr in der Lage, irgendwelche den rechten Arm auch nur mässig beanspruchende manuelle Arbeiten auszuführen.
b) Im Lichte der vorstehenden Ausführungen lassen die Akten entgegen der Vorinstanz nicht den Schluss zu, dem Beschwerdeführer seien aus Sicht der Verhältnisse bei Erlass der Rentenverfügungen am 20. Januar 1995 (<ref-ruling> Erw. 1b mit Hinweis) grundsätzlich alle Tätigkeiten mit Wechselbelastung ohne starke Beanspruchung der rechten Hand vollzeitlich zumutbar. Diese Einschätzung der Arbeitsfähigkeit, auf welcher auch die Wiedererwägungsverfügung vom 21. Oktober 1998 beruht, erscheint im Übrigen in dem Sinne zu wenig differenziert, als unklar ist, inwiefern das Tragen einer Handgelenkschiene notwendig ist und was dies gegebenenfalls für Auswirkungen auf die in Betracht fallenden Tätigkeiten hat. In diesem Zusammenhang ist auch auf den Bericht der Berufsberaterin der IV-Stelle vom 20. September 1995 hinzuweisen, wonach das Tragen einer Schiene einen Einsatz im Dienstleistungssektor (z.B. Wächter, Verkäufer, Nachtportier) praktisch ausschliesst. Diese Beurteilung wiederum ist insofern bedeutsam, als die wiedererwägungsweise vorgenommene Neuberechnung des Invaliditätsgrades und auch die Invaliditätsbemessung im Verfahren der Unfallversicherung auf der Annahme beruhen, dass Tätigkeiten der genannten Art uneingeschränkt zumutbar sind.
c) Nach dem Gesagten kann aufgrund der Akten nicht von einer zweifellosen Unrichtigkeit der Rentenverfügungen vom 20. Januar 1995 gesprochen werden, dies zumindest in dem Sinne nicht, dass bis zu jenem Zeitpunkt überhaupt kein Rentenanspruch entstanden ist, wovon aber Vorinstanz und IV-Stelle ausgehen. Daran ändert nichts, dass der Umfang des Rentenanspruchs (<ref-law>) insofern unrichtig bestimmt wurde, dass der Invaliditätsgrad mit dem Grad der Arbeitsunfähigkeit im angestammten Beruf gleichgesetzt wurde.
Nichts anderes ergibt sich auch daraus, dass in der Unfallversicherung ein Erwerbsunfähigkeitsgrad von lediglich 30 % ermittelt wurde, dies schon deshalb nicht, weil das Invalideneinkommen auf der Grundlage der Einschätzung der Arbeitsfähigkeit des Dr. med. T._ bestimmt wurde, auf welche indessen, wie dargelegt, so wenig abgestellt werden kann wie auf die Stellungnahmen der Dres. med.
H._ und R._. Ob die Zusprechung einer ganzen Rente zweifellos unrichtig war in dem Sinne, dass lediglich Anspruch auf eine halbe oder eine Viertelsrente bestand, kann schliesslich aufgrund der Akten ebenfalls nicht gesagt werden, sodass Entscheid und Wiedererwägungsverfügung ohne weiteres aufzuheben sind.
d) Inwiefern sich durch Eingliederungsmassnahmen beruflicher Art und Vorkehren der Selbsteingliederung, wozu der Beschwerdeführer aufgrund der Schadenminderungspflicht verpflichtet ist (vgl. <ref-ruling> Erw. 4a mit Hinweisen), eine Verbesserung der Einsatzmöglichkeiten auf dem allgemeinen Arbeitsmarkt im Sinne der Erweiterung der leidensbedingt noch in Betracht fallenden Tätigkeiten erzielen lässt, was aus medizinischer Sicht nicht auszuschliessen ist, wird die IV-Stelle in einem neuen Revisionsverfahren (<ref-law>) abzuklären haben.
4.- Der Antrag auf Verzinsung der nachzuzahlenden Rentenleistungen ist unbegründet. Nach ständiger Rechtsprechung werden im Bereich der Sozialversicherung keine Verzugszinsen geschuldet, sofern sie nicht gesetzlich vorgesehen sind (<ref-ruling> Erw. 2 mit Hinweisen). Von diesem Grundsatz abzuweichen besteht vorliegend kein Anlass, zumal nach den zutreffenden Ausführungen im angefochtenen Entscheid der IV-Stelle nicht der Vorwurf der mangelhaften Zustellung des Vorbescheides gemacht werden kann.
5.- Das Verfahren ist kostenlos (Art. 134 OG). Dem Prozessausgang entsprechend steht dem Beschwerdeführer eine Parteientschädigung zu (Art. 159 Abs. 1 und 2 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.In Gutheissung der Verwaltungsgerichtsbeschwerde werden
der Entscheid des Sozialversicherungsgerichts des
Kantons Zürich vom 3. Juli 2000 und die Verfügung der
IV-Stelle des Kantons Zürich vom 21. Oktober 1998 aufgehoben.
Im Übrigen wird die Verwaltungsgerichtsbeschwerde
im Verzugszinspunkt abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Die IV-Stelle des Kantons Zürich hat dem Beschwerdeführer für das Verfahren vor dem Eidgenössischen Versicherungsgericht eine Parteientschädigung von
Fr. 2500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
IV.Das Sozialversicherungsgericht des Kantons Zürich hat über eine Parteientschädigung für das kantonale Verfahren entsprechend dem Ausgang des letztinstanzlichen
Prozesses zu befinden.
V.Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 5. Dezember 2000
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: