A.- Der 1950 geborene A._ war vom 4. September 1978 bis 31. August 1987 als Reparaturschlosser bei der Firma W._ AG angestellt gewesen. Wegen Rückenbeschwerden hielt er sich vom 23. Juli bis 13. August 1987 im Rehabilitationszentrum R. auf, wo der Befund eines chronisch rezidivierenden Lumbovertebralsyndroms bei Diskushernie L5/S1 und beginnender Protrusion der Bandscheibe L4/L5 sowie eines Zervikovertebralsyndroms bei rechtskonvexer Skoliose der HWS erhoben und die Aufnahme einer leichteren Arbeit oder eine Umschulung empfohlen wurde. Auf Anmeldung vom 1. September 1987 kam die Invalidenversicherung für die Umschulung zum Mechatronik-Techniker auf, was aus schulischen Gründen scheiterte. Nachdem medizinische und berufliche Abklärungen ergeben hatten, dass der Versicherte in einer körperlich leichten bis mittelschweren Tätigkeit voll arbeitsfähig und mit entsprechender Motivation rentenausschliessend eingegliedert wäre, lehnte die Ausgleichskasse des Kantons Zürich am 8. Januar 1991 den Anspruch auf eine Invalidenrente und auf weitere berufliche Massnahmen ab.
Mit Urteil vom 2. März 1993 bestätigte das Eidgenössische Versicherungsgericht letztinstanzlich diese Verfügung, überwies die Akten jedoch der Verwaltung, damit sie über einen allfälligen Anspruch auf berufliche Massnahmen für die Zeit nach Verfügungserlass befinden konnte. Die Invalidenversicherung übernahm in der Folge die Umschulung auf eine Bürotätigkeit an der Handelsschule X.. Nach Abschluss der Ausbildung fand A._ keine Anstellung und bezog ab 5. Februar 1996 Arbeitslosenentschädigung. Am 19. November 1997 meldete er sich erneut bei der Invalidenversicherung zum Rentenbezug an, wobei er Rückenbeschwerden und psychische Störungen angab. Die IV-Stelle des Kantons Zürich traf nähere Abklärungen und sprach ihm mit Verfügung vom 3. September 1998 eine ganze einfache Invalidenrente, nebst Zusatzrente für die Ehefrau und Kinderrente, ab 1.
Oktober 1997 aufgrund eines Invaliditätsgrades von 70 % zu.
Als Mitarbeiter der Firma W._ AG war A._ bei der BVG-Sammelstiftung der Rentenanstalt (nachfolgend:
Sammelstiftung der Rentenanstalt) berufsvorsorgeversichert.
Aufgrund der Erwerbsunfähigkeitsmeldung des Versicherten vom 6. Juli 1988 richtete die Vorsorgeeinrichtung eine volle Rente aus, welche sie nach Ablehnung des Rentenanspruchs durch die Invalidenversicherung auf den 31. Dezember 1991 aufhob. Das gestützt auf die IV-Rentenverfügung vom 3. September 1998 eingereichte erneute Rentenbegehren wies sie am 15. März 1999 mit der Begründung ab, dass A._ bei Eintritt der invalidisierenden Arbeitsunfähigkeit im Oktober 1996 nicht mehr bei der Vorsorgeeinrichtung der Firma E._ AG (vormals Firma W._ AG) versichert gewesen war.
Unter dem Namen "Personalvorsorgestiftung der Firma W._ AG" unterhielt die frühere Arbeitgeberin von A._ eine zweite, im überobligatorischen Bereich tätige Vorsorgeeinrichtung, welche mit Vertrag vom 10./12.
Juni 1996 von der Sammelstiftung Mythen der "Zürich" Lebensversicherungs-Gesellschaft (nachfolgend: Sammelstiftung der Zürich) übernommen wurde. A._ machte einen Leistungsanspruch auch gegenüber der Sammelstiftung der Zürich geltend, welcher von der Vorsorgeeinrichtung am 6. Oktober 1998 mit der Begründung verneint wurde, dass bereits vor einer allfälligen Aufnahme in die Versicherung am 1. Januar 1996 Invalidenleistungen beansprucht worden seien.
B.- Mit Klage vom 17. Dezember 1999 beantragte A._, die Sammelstiftung der Rentenanstalt sei zu verpflichten, ihm ab 1. Oktober 1997 die reglementarischen Invalidenleistungen zu erbringen; eventuell sei die Sammelstiftung der Zürich zur Leistungserbringung zu verpflichten.
Zur Begründung des Anspruchs gegenüber der Sammelstiftung der Rentenanstalt führte er aus, die heutige Invalidität sei auf eine seit April 1987 bestehende Arbeitsunfähigkeit zurückzuführen; damals sei er noch bei der Rentenanstalt versichert gewesen. Das Eventualbegehren gegenüber der Sammelstiftung der Zürich begründete er damit, er sei bei Eintritt der Invalidität am 1. Oktober 1997 bei dieser Vorsorgeeinrichtung, welche die Nachfolgerin der Sammelstiftung der Rentenanstalt sei, versichert gewesen.
Das Sozialversicherungsgericht des Kantons Zürich trat auf die Klage nicht ein, soweit damit von der Sammelstiftung der Zürich in der Annahme, es handle sich um die Rechtsnachfolgerin der Sammelstiftung der Rentenanstalt, dieselben Leistungen wie von dieser verlangt wurden. Im Übrigen wies es die Klage ab mit der Feststellung, dass weder die Sammelstiftung der Rentenanstalt noch diejenige der Zürich leistungspflichtig sei (Entscheid vom 28. Februar 2001).
C.- A._ lässt Verwaltungsgerichtsbeschwerde führen mit dem Rechtsbegehren, der angefochtene Entscheid sei aufzuheben und es seien die Sammelstiftungen der Rentenanstalt und der Zürich zur Ausrichtung der reglementarischen Invalidenleistungen ab 1. Oktober 1997 zu verpflichten.
Die Sammelstiftungen der Rentenanstalt und der Zürich beantragen Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Im vorinstanzlichen Entscheid werden die für den Anspruch auf Invalidenleistungen im obligatorischen Bereich der beruflichen Vorsorge (Art. 23 und 24 Abs. 1 BVG), die Bindung der Vorsorgeeinrichtungen an die Beschlüsse der IV (<ref-ruling> Erw. 2a mit Hinweisen) und die Leistungspflicht bei Eintritt der Invalidität nach Wechsel der Vorsorgeeinrichtung (<ref-ruling> Erw. 1c, 120 V 117 f.
Erw. 2c/aa und bb) geltenden Regeln zutreffend dargelegt, sodass darauf verwiesen werden kann. Zu ergänzen ist, dass das für die Leistungspflicht der ehemaligen Vorsorgeeinrichtung massgebende Erfordernis des sachlichen und zeitlichen Konnexes zwischen Arbeitsunfähigkeit und Invalidität insbesondere dann gilt, wenn der Versicherte während der Dauer des Vorsorgeverhältnisses arbeitsunfähig und später invalid geworden ist, ohne zuvor ein neues Vorsorgeverhältnis begründet zu haben (Urteil B. vom 6. Juni 2001 [B 64/99], Erw. 5a).
2.- a) In tatsächlicher Hinsicht ist davon auszugehen, dass der Beschwerdeführer als Angestellter der Firma W._ AG bei der Sammelstiftung der Rentenanstalt und der Personalvorsorgestiftung der Firma W._ AG vorsorgeversichert war, wobei es sich bei letzterer um eine im überobligatorischen Bereich tätige nichtregistrierte Vorsorgeeinrichtung handelte. Sie wurde per 1. Januar 1996 von der Sammelstiftung Mythen der "Zürich" übernommen, ohne dass am Vorsorgezweck etwas geändert wurde. Von der Übernahme unberührt blieb die Sammelstiftung der Rentenanstalt.
Nach der zutreffenden Feststellung der Vorinstanz handelt es sich bei der Sammelstiftung der Rentenanstalt und der Sammelstiftung der Zürich (als Rechtsnachfolgerin der "Personalvorsorgestiftung der Firma W._ AG") mithin um zwei selbständige Vorsorgeeinrichtungen mit je eigenen Leistungen. Das kantonale Gericht ist daher zu Recht nicht auf die Klage eingetreten ist, soweit damit gegenüber der Sammelstiftung der Zürich unter dem Titel der Rechtsnachfolge dieselben Leistungen wie gegenüber der Sammelstiftung der Rentenanstalt geltend gemacht wurden.
b) Das Arbeitsverhältnis mit der Firma W._ AG wurde auf den 31. August 1987 aus gesundheitlichen Gründen (Rückenbeschwerden) aufgelöst. Nach Ablauf der statutarischen Wartefrist von drei Monaten richtete die Sammelstiftung der Rentenanstalt eine Invalidenrente von 100 % aus, welche sie nach Kenntnis der ablehnenden Rentenverfügung der Invalidenversicherung vom 8. Januar 1991 auf Ende Dezember 1991 aufhob. Wie die Sammelstiftung der Rentenanstalt in der Vernehmlassung zur Verwaltungsgerichtsbeschwerde ausführt, wurde auf eine Rückzahlung der ohne Rechtsgrund ausgerichteten Leistungen (Invalidenrente und Prämienbefreiung) verzichtet. Nach Auffassung der Vorsorgeeinrichtung hat das Vorsorgeverhältnis im Hinblick darauf, dass keine invalidisierende Arbeitsunfähigkeit bestanden hat, jedoch bereits mit der Auflösung des Arbeitsverhältnisses am 31. August 1987 geendet. Ob diese Feststellung zutreffend ist, kann offen bleiben, weil selbst unter der Annahme eines Vorsorgeverhältnisses bis Ende 1991 kein Leistungsanspruch besteht, wie sich aus dem Folgenden ergibt.
3.- Streitig und zu prüfen ist zunächst, ob die Invalidität, welche die IV-Stelle zur Zusprechung einer ganzen Invalidenrente ab 1. Oktober 1997 veranlasst hat, auf eine während der Versicherungsdauer bei der Sammelstiftung der Rentenanstalt eingetretene Arbeitsunfähigkeit zurückzuführen ist. Dabei ist davon auszugehen, dass der Beschwerdeführer an einem Lumbovertebralsyndrom sowie an psychischen Störungen leidet.
a) Was das Rückenleiden betrifft, steht aufgrund der medizinischen Akten fest, dass bereits im Jahre 1987 eine die Arbeitsfähigkeit im bisherigen Beruf als Reparaturschlosser beeinträchtigende Symptomatik bestanden hat. Diese hat jedoch nicht zu einer dauernden erheblichen Arbeitsunfähigkeit geführt. Zwar haben die Ärzte der Rehabilitationsklinik R. dem Versicherten am 13. August 1987 empfohlen, eine leichtere Arbeit zu suchen oder sich von der Invalidenversicherung umschulen zu lassen, was zu einer, allerdings erfolglos gebliebenen Umschulung zum Mechatronik-Techniker Anlass gegeben hat. Anlässlich der in der Folge durchgeführten medizinischen und beruflichen Abklärung in der BEFAS Appisberg vom 17. Juli bis 11. August und vom 28. August bis 1. September 1989 wurde der Befund (Status nach Diskushernie L5/S1 und Diskusprotrusion L4/L5 rechts, Restlumbalgie und Tendoperiostosen am linken Iliumkamm) als nicht invalidisierend beurteilt. Der Versicherte wurde vom medizinischen Standpunkt aus für Arbeiten ohne Zwangshaltungen und ohne grosse körperliche Belastungen als voll arbeitsfähig bezeichnet. Die bei der berufspraktischen Abklärung festgestellten Minderleistungen wurden mit einer Fixierung auf die Beschwerden und mangelnder Leistungsbereitschaft erklärt (Schlussbericht der BEFAS vom 11. September 1998). In dem von der Schweizerischen Pflegerinnenschule erstatteten multidisziplinären Gutachten vom 6. November 1990 wurde diese Beurteilung bestätigt und ausgeführt, die an sich glaubhaften Rückenbeschwerden würden vom Versicherten überbewertet und reichten keinesfalls für eine Einschränkung der der Arbeitsfähigkeit aus. Im angestammten Beruf ohne Schwerarbeit und Heben grösserer Lasten und mit der Möglichkeit zu Positionswechseln sowie in allen leichteren bis mittelschweren Tätigkeiten bestehe eine volle Arbeitsfähigkeit. Gestützt auf diese ärztlichen Angaben hat die IV-Stelle das Rentenbegehren am 8. Januar 1991 abgewiesen mit der Begründung, dass auch im Rahmen der bisher ausgeübten Tätigkeit eine volle Arbeitsunfähigkeit bestehe. Die Verfügung wurde vom Eidgenössischen Versicherungsgericht mit Urteil vom 2. März 1993 letztinstanzlich bestätigt mit der Feststellung, dass auf die Beurteilung der Arbeitsfähigkeit durch die Schweizerische Pflegerinnenschule abgestellt werden könne und kein Anlass zu weiteren Abklärungen bestehe. Die Akten wurden lediglich zu dem Zwecke an die Verwaltung überwiesen, dass diese betreffend einen allfälligen Anspruch auf Umschulungsmassnahmen für die Zeit nach Erlass der Verfügung die erforderlichen Abklärungen treffen und darüber verfügen konnte. Damit steht fest, dass seitens des Rückens jedenfalls bis Anfang 1991 keine für eine spätere Invalidität relevante Arbeitsunfähigkeit bestanden hat. Eine solche ist auch für die Folgezeit nicht ausgewiesen. Zwar hat die IV-Stelle im Anschluss an das Urteil des Eidgenössischen Versicherungsgerichts vom 2. März 1993 erneut eine Umschulung übernommen, die wiederum zu keinem Eingliederungserfolg führte.
Dies ändert jedoch nichts daran, dass der Beschwerdeführer aus medizinischer Sicht in der Lage gewesen wäre, eine leichte bis mittelschwere Tätigkeit ohne wesentliche Einschränkung auszuüben. Er hat sich in der Folge denn auch bei der Arbeitslosenversicherung gemeldet und ab 5. Februar 1996 Taggelder bezogen. Dabei hat er sich als voll vermittlungsfähig bezeichnet und sich in einem weiten Bereich, insbesondere auch als Mechaniker, um Stellen beworben (Bericht der Berufsberaterin der IV-Stelle vom 3. März 1998). Bei der IV-Stelle hat er sich erst im November 1997 wieder zum Leistungsbezug gemeldet und neu psychische Beeinträchtigungen geltend gemacht. Daraus ist zu schliessen, dass auch nach 1991 seitens des Rückenleidens keine wesentliche Arbeitsunfähigkeit bestanden hat. Selbst wenn während der Versicherungsdauer bei der Rentenanstalt eine relevante Arbeitsfähigkeit bestanden haben sollte, fehlt es angesichts der späteren langjährigen vollen Arbeitsfähigkeit am erforderlichen sachlichen und zeitlichen Zusammenhang zwischen der Invalidität und der früheren Arbeitsunfähigkeit (vgl. <ref-ruling> Erw. 1c).
b) Dem Beschwerdeführer kann auch insoweit nicht gefolgt werden, als er geltend macht, er sei aus psychischen Gründen nie voll arbeitsfähig gewesen. Aus den mit der Verwaltungsgerichtsbeschwerde eingereichten Arztzeugnissen geht zwar hervor, dass er in den "80-er Jahren" und im Januar 1992 wegen depressiver Verstimmungen den Arzt aufgesucht hatte. Es fehlen aber jegliche Anhaltspunkte dafür, dass schon damals eine längerdauernde psychische Beeinträchtigung der Arbeitsfähigkeit bestanden hat. Bei der stationären Begutachtung in der Schweizerischen Pflegerinnenschule vom 20./21. August 1990 konnten keine Zeichen eines psychischen Leidens festgestellt werden. Im Urteil von 2. März 1993 verneinte das Eidgenössische Versicherungsgericht aufgrund der medizinischen Akten ein psychisches Leiden mit Krankheitswert und die Notwendigkeit ergänzender medizinischer Abklärungen unter dem Gesichtspunkt einer psychischen Fehlentwicklung. Zu erheblichen, die Arbeitsfähigkeit beeinträchtigenden psychischen Störungen ist es erst später gekommen. Mit der Feststellung im Begleitschreiben zur Neuanmeldung vom 18. November 1997, wonach sich ein psychisches Leiden "inzwischen ebenfalls eingestellt hat", ist der Beschwerdeführer selber davon ausgegangen, dass sich das psychische Leiden erst nachträglich entwickelt hat. Aufgrund der Akten besteht kein Anlass, von der Auffassung der IV-Stelle abzugehen, wonach eine erhebliche psychisch bedingte Arbeitsunfähigkeit im Oktober 1996 (Beginn der Behandlung bei Dr. med.
V._) eingetreten ist. Es muss daher bei der Feststellung bleiben, dass eine relevante psychische Arbeitsunfähigkeit lange nach Auflösung des Vorsorgeverhältnisses eingetreten ist, weshalb die Sammelstiftung der Rentenanstalt hiefür nicht leistungspflichtig ist. Ob, wie der Beschwerdeführer geltend macht, die heute bestehenden psychischen Störungen Folge des Rückenleidens sind, ist unerheblich, weil nach dem Gesagten auch bezüglich des somatischen Leidens keine Leistungspflicht besteht. Aus den Akten ergeben sich immerhin Anhaltspunkte dafür, dass die psychischen Störungen in Zusammenhang mit der langjährigen beruflichen Desintegration stehen, die mangels einer entsprechenden somatisch bedingten Arbeitsunfähigkeit nicht auf das Rückenleiden zurückgeführt werden kann.
4.- Aus den genannten Gründen entfällt ein Leistungsanspruch auch gegenüber der Sammelstiftung der Zürich.
Hieran ändert nichts, dass das Vorsorgeverhältnis formell erst auf den 31. Dezember 1997 aufgelöst worden ist. Weil der Beschwerdeführer seit 31. Dezember 1987 nicht mehr bei der Firma W._ AG (bzw. der Nachfolgefirma E._ AG) tätig war, bestand ab diesem Zeitpunkt auch kein Versicherungsschutz mehr. Er hat in den zehn Jahren bis zur Feststellung der irrtümlichen Weiterführung des Vorsorgeverhältnisses denn auch keine Beiträge an die Vorsorgeeinrichtung bezahlt. Der Vorinstanz ist darin beizupflichten, dass sich aus der formellen Weiterführung des Vorsorgeverhältnisses ein Leistungsanspruch auch unter dem Gesichtspunkt des Vertrauensschutzes nicht ableiten lässt. Es kann diesbezüglich auf die unbestritten gebliebenen Erwägungen im kantonalen Entscheid verwiesen werden. Die Abweisung der Klage besteht folglich auch insoweit zu Recht, als sie sich gegen die Sammelstiftung der Zürich richtet.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht des Kantons Zürich und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 16. November 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Die Gerichtsschreiberin: