Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die Vorinstanz hat die zu Art. 23 BVG ergangene Rechtsprechung zutreffend dargelegt. Danach setzt die Leistungspflicht einer Vorsorgeeinrichtung für eine nach Wegfall der Versicherteneigenschaft eingetretene Invalidität als erstes voraus, dass derjenige Gesundheitsschaden, welcher später zur Invalidität führt, bereits während der Zeit des Vorsorgeverhältnisses eine erhebliche Arbeitsunfähigkeit bewirkt hat (<ref-ruling> und seitherige ständige Praxis, zuletzt bestätigt mit Urteil M. vom 14. August 2000, B 50/99).
2.- a) Einziger Streitpunkt bildet die Frage, ob die von der IV-Stelle gestützt auf den Bericht des Dr. med.
S._, Psychiatrische und psychotherapeutische Arztpraxis, vom 13. Dezember 1996 als invalidisierend betrachtete depressive Entwicklung bei einer der Lebensgeschichte entsprechenden Rückenproblematik sich schon während der Dauer des Arbeitsverhältnisses und damit der Zugehörigkeit zur am Recht stehenden Vorsorgeeinrichtung, unter Einschluss der Nachdeckungszeit nach Art. 10 Abs. 3 BVG, in einer Weise manifestiert hat, dass deswegen schon damals eine erhebliche Arbeitsunfähigkeit resultierte.
Dabei ist zu beachten, dass diese Frage im Berufsvorsorgeprozess (Art. 73 BVG) nicht frei, sondern nur daraufhin geprüft wird, ob die in Rechtskraft erwachsene invalidenversicherungsrechtliche Qualifikation hinsichtlich des Beginns der Arbeitsunfähigkeit als Voraussetzung für die Entstehung des Rentenanspruches (<ref-law>) offensichtlich unrichtig ist (vgl. statt vieler <ref-ruling> Erw. 3c).
b) Zwar gibt es gewisse Anhaltspunkte dafür, dass die Rückenproblematik dem Beschwerdeführer schon im Verlaufe des Jahres 1995 psychisch zu schaffen machte; doch stand damals, nach allen verfügbaren Berichten, eindeutig die Behandlung der Rückenproblematik im Vordergrund. Das lässt sich gerade aus dem Bericht der Klinik X._ vom 24. Juli 1995, auf welchen sich der Beschwerdeführer beruft, folgern. Wenn nämlich die IV-Stelle Schwyz die in diesem Bericht festgehaltene "Tendenz zu einer pathologischen Schmerzverarbeitung" und die mit den objektiven Befunden nicht korrelierende "ausgesprochene Schmerzhaftigkeit" damals noch nicht als die Arbeitsfähigkeit erheblich limitierend betrachtete, sondern die Verhältnisse erst unter dem Eindruck des erwähnten psychiatrischen Berichts des Dr. med. S._ neu als invalidisierend einschätzte, so mag dies zwar als diskutabel erscheinen; eine offensichtliche Unhaltbarkeit ergibt sich daraus jedoch nicht, weshalb es bei der Verbindlichkeitswirkung des von der IV-Stelle festgelegten Beginns der Arbeitsunfähigkeit sein Bewenden hat. Sämtliche weiteren Vorbringen in der Verwaltungsgerichtsbeschwerde vermögen daran nichts zu ändern.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Schwyz und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 3. Mai 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: