A.- M._, geb. 1950, leidet an seronegativer Polyarthritis. Wegen der erwerblichen Beeinträchtigungen bezieht er seit dem 1. Mai 1982 eine ganze Rente der Eidgenössischen Invalidenversicherung. Der Rentenanspruch wurde revisionsweise bestätigt durch die Beschlüsse der Invalidenversicherungs-Kommission des Kantons Zürich vom 2. August 1984 und vom 28. Januar 1988. Laut diesen wurde jeweils ein Invaliditätsgrad von 70 % ermittelt, wobei für das Invalideneinkommen (hypothetisches Einkommen ohne gesundheitliche Beeinträchtigung) von einem halbtags erzielten Monatseinkommen von Fr. 2'200.- ausgegangen wurde.
Vom 1. September 1986 bis zum 30. April 1996 war M._ mit einem Pensum von 50 % für die X._ Finanz AG tätig. Gemäss dem die Anstellung bestätigenden Schreiben der Arbeitgeberin vom 11. Juli 1986 bezog er ein monatliches Bruttogehalt von Fr. 2'500.-; im "Fragebogen für den Arbeitgeber" der Eidgenössischen Invalidenversicherung (vom 23. September 1987) wurde ein Lohn von Fr. 2'200.- deklariert. Nach dem Bericht des behandelnden Arztes Dr. med. R._ vom 5. Februar 1996 verschlechterte sich der Gesundheitszustand während der Dauer dieses Anstellungsverhältnisses derart, dass ab 1. Juli 1995 bei allgemein massiver Bewegungseinschränkung in verschiedensten Gelenken 100%ige Arbeitsunfähigkeit bestand.
Die Vorsorgeeinrichtung der X._ Finanz AG - die Fondation de Prévoyance du Crédit Lyonnais (Suisse) SA (nachfolgend: Fondation) - lehnte den von M._ in der Folge gestellten Antrag um Ausrichtung einer Invalidenrente sowie prämienfreie Weiterführung der Versicherung ab.
B.- Am 5. März 1998 liess M._ Klage beim Sozialversicherungsgericht des Kantons Zürich gegen die Fondation einreichen mit dem Rechtsbegehren, es sei ihm ab
1. Juli 1997 die reglementarisch vorgesehene Invalidenrente bei prämienfreier Weiterführung der Versicherung auszurichten.
Das kantonale Gericht wies die Rechtsvorkehr im Sinne der Erwägungen ab, wobei es die Beklagte verpflichtete, dem Kläger die irrtümlich geleisteten Beitragszahlungen zurückzuerstatten (Entscheid vom 31. Mai 2000).
C.- M._ lässt Verwaltungsgerichtsbeschwerde führen und das im kantonalen Verfahren klageweise geltend gemachte Rechtsbegehren erneuern.
Die Fondation und das Bundesamt für Sozialversicherung beantragen Abweisung der Verwaltungsgerichtsbeschwerde.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Der Rechtsstreit dreht sich um die Frage, ob der Beschwerdeführer gestützt auf das am 1. Januar 1985 in Kraft getretene "Règlement de la Fondation de Prévoyance en faveur du personnel du Crédit Lyonnais, Lyon, agences et filiales en Suisse à Genève" (nachfolgend: Reglement) ab
1. Juli 1997 Anspruch auf eine berufsvorsorgerechtliche Invalidenrente hat.
2.- a) Unter den Parteien ist, letzt- wie bereits vorinstanzlich, hauptsächlich der Bedeutungsgehalt des Art. 6 "Obligation d'assurance" des Reglements strittig, insbesondere von dessen Abs. 4. Dieser lautet im Wortlaut wie folgt:
"Les personnes, qui au moment de la soumission au présent règlement, ne jouissent pas, pour des raisons de santé, de la pleine capacité de travail ou sont atteintes durablement d'une incapacité de travail partielle, seront assurées à des conditions spéciales. Celles-ci seront fixées par la fondation, dans une convention complémentaire, en accord avec la personne concernée, l'employeur et La Bâloise. Les prestations assurées seront alors au moins égales à celles prévues par la L.P.P."
Der Beschwerdeführer erblickt in der zitierten Bestimmung eine der weitergehenden beruflichen Vorsorge zugehörige Versicherung für verbleibende Arbeits- und Erwerbsfähigkeit, egal wie hoch diese bei Eintritt in die Vorsorgeeinrichtung waren. Die Beschwerdegegnerin hält dafür, dass Art. 6 Abs. 4 einzig zum Tragen komme, sofern eine Unterstellung unter das Reglement zu bejahen sei, was in Art. 6 Abs. 2 desselben für Personen verneint würde, die zu mehr als 66 2/3 % invalid seien.
b) Die Vorinstanz hat über diesen Auslegungsstreit nicht abschliessend befunden. Sie hat das Rentenbegehren ihrerseits aus der Überlegung heraus abgewiesen, hinsichtlich der erwerblichen Auswirkungen der diagnostizierten seronegativen Polyarthritis sei der Versicherungsfall bereits vor dem 1. September 1986 eingetreten. Die durch die Verschlimmerung einer vorbestehenden, invalidisierenden Gesundheitsschädigung eintretende erhöhte Invalidiät könne im Rahmen eines privatrechtlichen Vorsorgeverhältnisses nicht gültig versichert werden. Eine entsprechende Vereinbarung sei in analoger Anwendung von <ref-law> auf Grund der Praxis gemäss <ref-ruling> Erw. 5c (teil-)nichtig.
3.- Gemäss Art. 2 Abs. 2 BVG bestimmt der Bundesrat, welche Arbeitnehmer aus besonderen Gründen nicht der obligatorischen Versicherung unterstellt sind. Gestützt auf diese Delegationsnorm hat der Bundesrat in Art. 1 Abs. 1 lit. d BVV2 Personen, die im Sinne der IV zu mindestens zwei Dritteln invalid sind, von der obligatorischen Versicherung ausgenommen. In <ref-ruling> ff. Erw. 4b-d wurde die Gesetzmässigkeit von Art. 1 Abs. 1 lit. d BVV2 bejaht.
Der Beschwerdeführer, welcher seit 1. Mai 1982 eine ganze Rente der Eidg. Invalidenversicherung bezieht, untersteht somit nicht der obligatorischen beruflichen Vorsorge.
4.- a) Zu prüfen bleibt, ob im Rahmen der weitergehenden beruflichen Vorsorge eine Leistungspflicht besteht.
aa) Dem Beschwerdeführer ist darin beizupflichten, dass in Art. 6 Abs. 4 des Reglements in allgemeiner Weise von Personen mit eingeschränkter Arbeitsfähigkeit die Rede ist. Das indiziert für sich allein, dass beim Eintritt in die Vorsorgeeinrichtung bestehende Restarbeitsfähigkeiten unabhängig von ihrer Höhe versicherbar sind. Dagegen spricht indes der Bedeutungsgehalt der Art. 6 Abs. 4 einleitenden Umschreibung, die wie folgt lautet: "4. Les personnes, qui au moment de la soumission au présent règlement ...". Nach Art. 6 Abs. 2 lit. a des Reglements sind Personen von der Versicherung ausgenommen, die zu mindestens zwei Dritteln invalid sind. Indem in Art. 6 Abs. 4 eine Unterstellung unter das Reglement verlangt wird, ist darauf zu schliessen, dass verbleibende Restarbeitsfähigkeiten einzig dann versicherbar sind, wenn der Arbeitnehmer nicht mindestens zu zwei Dritteln invalid ist. Dafür spricht auch, dass in Art. 6 Abs. 4 letzter Satz einzig die gesetzlichen Mindestleistungen gemäss BVG garantiert werden und Personen, die im Sinne der IV zu mindestens zwei Dritteln invalid sind, von der obligatorischen Versicherung ausgenommen sind (vgl. Erw. 3 hievor).
bb) Mit diesem Auslegungsergebnis im Einklang steht der Umstand, dass eine in Art. 6 Abs. 4 des Reglements vorgesehene Vereinbarung nicht rechtsgenüglich nachgewiesen ist. Gestützt auf die Akten ist vielmehr davon auszugehen, dass die Arbeitgeberin wie die Beschwerdegegnerin davon ausgegangen sind, dass der Beschwerdeführer zu 100 % arbeitsfähig war und keine Invalidenrente nach IVG bezog, als er am 1. September 1986 die neue Stelle angetreten hat ("Annonce à l'Assurance LPP" vom 30. September 1986).
b) Die Berufung auf Treu und Glauben schliesslich dringt ebenfalls nicht durch. Sie scheitert bereits daran, dass der bei den Akten liegende Versicherungsausweis ("Fiche individuelle") wohl die versicherten Leistungen per
1. Januar 1995 aufführt. Er tut dies indes ausdrücklich unter dem Vorbehalt, dass die reglementarischen Voraussetzungen erfüllt sind ("sous réserve des conditions d'admission prévues par le règlement"), was für den hier zu beurteilenden Fall zu verneinen ist.
5.- Dem vorinstanzlichen Entscheid ist nach dem Gesagten im Ergebnis beizupflichten. Es kann dabei offen bleiben, ob die durch die Verschlimmerung einer vorbestehenden, invalidisierenden Gesundheitsschädigung eintretende erhöhte Invalidität im Rahmen eines privatrechtlichen Vorsorgeverhältnisses nicht gültig versichert werden kann. Es braucht insbesondere nicht erörtert zu werden, ob gestützt auf <ref-ruling>, welchem der Sachverhalt einer bei Eintritt in die Vorsorgeeinrichtung bereits zu 100 % invaliden Person zu Grunde lag, von einer entsprechenden Praxis ausgegangen werden kann, wie es das kantonale Gericht annimmt.
6.- a) Das Verfahren ist kostenlos (Art. 134 OG).
b) Rechtsprechungsgemäss hat eine (obsiegende) Vorsorgeeinrichtung keinen Anspruch auf Parteientschädigung (Art. 159 Abs. 2 in Verbindung mit Art. 135 OG; <ref-ruling> Erw. 6, 118 V 169 f. Erw. 7, je mit Hinweisen). Von dieser Regel abzuweichen, besteht vorliegend kein Anlass.

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Es werden keine Gerichtskosten erhoben und keine Parteientschädigungen zugesprochen.
III. Dieses Urteil wird den Parteien, dem Sozialversicherungsgericht
des Kantons Zürich und dem Bundesamt für
Sozialversicherung zugestellt.
Luzern, 27. Juni 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber: