A.- B._, geboren am 19. Juli 1939, war ab
1. August 1959 der Versicherungskasse X._ angeschlossen.
Nach seinem Übertritt in den kantonalen Dienst per 1. Juli 1973 gehörte er der Versicherungskasse für das Staatspersonal des Kantons St. Gallen (nachfolgend: Versicherungskasse) an. Das kantonale Personalamt informierte B._ mit Schreiben vom 31. März 1990 über den ordentlichen Übertritt in den Ruhestand nach vollendetem
63. Altersjahr auf Grund der revidierten Verordnung über die Versicherungskasse (VVK). Auf Anfrage von B._ vom 3. Mai 1999 teilte der für Streitigkeiten über die Anwendung der VVK zuständige Vorsteher des kantonalen Finanzdepartements diesem mit Schreiben vom 31. August 1999 mit, dass gemäss Art. 97 VVK rentenversicherte Männer der Jahrgänge vor 1940, die keine Zusatzfinanzierung leisteten, grundsätzlich bis zur Vollendung des 65. Altersjahres beitragspflichtig seien; bei Rücktritt nach Vollendung des
63. Altersjahres und wenigstens 35 Versicherungsjahren finde die Finanzierungsphase schon zu einem früheren Zeitpunkt seinen ordentlichen Abschluss, was Voraussetzung für eine ungekürzte Altersrente sei. Sofern der freiwillige Rücktritt vor dem 63. Altersjahr erfolge, würden auch die zwischen Vollendung des 63. und 65. Altersjahres liegenden Monate bei der Kürzung berücksichtigt, wenn auch zu einem tieferen Ansatz.
B.- Die von B._ eingereichte Klage vom 11. September 1999 wies das Versicherungsgericht des Kantons St. Gallen mit Entscheid vom 21. Februar 2001 ab, soweit es darauf eintrat. B._ war zwischenzeitlich auf den 1. August 2000 in den vorzeitigen Ruhestand getreten; die Versicherungskasse richtet ihm seither eine um insgesamt 25,2 % (24 x 0,6 % für die Monate bis Vollendung des
63. Altersjahres plus 24 x 0,45 % für die Monate bis Vollendung des 65. Altersjahres) gekürzte Altersrente aus (Schreiben vom 13. Juli 2000).
C.- B._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, bei der Berechnung seiner Altersrente seien seine "überzähligen" Beitragsjahre angemessen zu berücksichtigen; eventualiter sei der Kanton St. Gallen bzw. die Versicherungskasse anzuweisen, in Anwendung von Art. 34 Abs. 2 VVK eine für ihn günstigere Rentenfestsetzung vorzunehmen oder ihm die nachträgliche Unterstellung unter die neue Ordnung nach Art. 97 lit. c VVK zuzugestehen.
Die Versicherungskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, soweit darauf einzutreten sei. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.
Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Die vorliegende Streitigkeit unterliegt der Gerichtsbarkeit der in Art. 73 BVG erwähnten richterlichen Behörden, welche sowohl in zeitlicher als auch in sachlicher Hinsicht zuständig sind (BGE 122 V 323 Erw. 2, 120 V 18 Erw. 1a, je mit Hinweisen).
2.- Im Rahmen von Art. 73 Abs. 4 BVG überprüft das Eidgenössische Versicherungsgericht die Anwendung des kantonalen und kommunalen Vorsorgerechts frei und unabhängig davon, ob es sich um Versicherungsleistungen im Sinne von Art. 132 OG handelt oder nicht. Bezüglich der Angemessenheitskontrolle und der Sachverhaltsfeststellung durch die Vorinstanz hingegen entscheidet sich die Frage der Überprüfungsbefugnis auch im Rahmen von Art. 73 Abs. 4 BVG danach, ob ein Streit um Versicherungsleistungen vorliegt oder nicht. Geht es um Versicherungsleistungen, so erstreckt sich die Überprüfungsbefugnis des Eidgenössischen Versicherungsgerichts auch auf die Angemessenheit der angefochtenen Verfügung; das Gericht ist dabei nicht an die vorinstanzliche Feststellung des rechtserheblichen Sachverhalts gebunden und kann über die Begehren der Parteien zu deren Gunsten oder Ungunsten hinausgehen (Art. 132 OG; BGE 118 V 254 Erw. I/3a mit Hinweisen).
3.- Auf das Begehren, der Kanton St. Gallen bzw. die Versicherungskasse sei anzuweisen, in Anwendung von Art. 34 Abs. 2 VVK eine für ihn günstigere Rentenfestsetzung vorzunehmen, ist nicht einzutreten. Denn der Versicherte setzt sich in seiner Verwaltungsgerichtsbeschwerde mit den Erwägungen der Vorinstanz, die auf denselben Antrag nicht eingetreten ist, nicht auseinander, sondern argumentiert in der Sache; dies genügt den Anforderungen an die Begründung einer Verwaltungsgerichtsbeschwerde nicht (BGE 123 V 335).
4.- Die Vorinstanz hat die Bestimmungen über den freiwilligen vorzeitigen Übertritt der männlichen Versicherten in den Ruhestand vor erfülltem 63. Altersjahr (Art. 35 Abs. 1 in Verbindung mit Art. 38 VVK) und die Übergangsregelung für Männer der Jahrgänge 1927 bis 1939 (Art. 97 VVK) zutreffend dargelegt. Darauf wird verwiesen.
5.- Streitig ist zunächst die zusätzliche Kürzung der Altersrente um 10,8 % (0,45 % pro Monat zwischen dem 63.
und 65. Altersjahr) infolge freiwilligem vorzeitigem Rücktritt nach Vollendung des 61. Altersjahres (Art. 97 lit. b Ziff. 3 VVK). Bei der betroffenen Vorsorgeeinrichtung handelt es sich um eine des öffentlichen Rechts, weshalb die Beurteilung dieser Frage des überobligatorischen Bereichs nach den gewöhnlichen Regeln der Gesetzesauslegung erfolgt (vgl. BGE 116 V 193 Erw. 3a mit Hinweisen). Denn anders als bei den privatrechtlichen Vorsorgeträgern, wo das Rechtsverhältnis zu den Versicherten im Bereich der freiwilligen Vorsorge auf dem so genannten Vorsorgevertrag beruht, dessen Auslegung nach dem Vertrauensprinzip und somit unter Berücksichtigung der Unklarheits- und Ungewöhnlichkeitsregeln vorgenommen wird (BGE 122 V 146 Erw. 4c mit Hinweisen), weist das dem öffentlichen Recht unterstehende Vorsorgeverhältnis keine vertraglichen Elemente auf (SZS 1997 S. 565).
6.- a) Das Eidgenössische Versicherungsgericht hat die vom Bundesgericht eingeleitete Rechtsprechung bestätigt, wonach das öffentliche Dienstverhältnis durch die Gesetzgebung bestimmt wird und daher, auch was seine vermögensrechtliche Seite angeht, die Entwicklung mitmacht, welche die Gesetzgebung erfährt, und zwar hinsichtlich Besoldungs- und Pensionsansprüchen. Ansprüche der Dienstnehmer sind dabei grundsätzlich gegenüber den Massnahmen des Gesetzgebers nach Massgabe des Willkürverbots und des Gebots der Rechtsgleichheit geschützt. Ein umfassender Schutz besteht nur dort, wo bestimmte Ansprüche aus dem Dienstverhältnis als wohlerworbene Rechte angesehen werden können. Dies trifft dann zu, wenn das Gesetz die entsprechenden Beziehungen ein für allemal festlegt und von den Einwirkungen der gesetzlichen Entwicklung ausnimmt, oder wenn bestimmte, mit einem einzelnen Anstellungsverhältnis verbundene Zusicherungen abgegeben werden. Aus den Erwägungen des Bundesgerichts und des Eidgenössischen Versicherungsgerichts ergibt sich, dass die Statuten öffentlich-rechtlicher Vorsorgeeinrichtungen im aufgezeigten Rahmen auch dann geändert werden dürfen, wenn die Statuten keinen ausdrücklichen Abänderungsvorbehalt aufweisen, wie dies für privatrechtliche Vorsorgestiftungen gefordert wird. Allgemeine Schranken bilden das Willkürverbot und das Gleichbehandlungsgebot.
Ebenso dürfen mit einer Statutenänderung keine wohlerworbenen Rechte des Versicherten verletzt werden. Solche können praxisgemäss auch dann vorliegen, wenn Ansprüche ihren Grund in Umständen haben, die nach Treu und Glauben zu respektieren sind, wie dies vornehmlich bei besonders qualifizierten Zusicherungen im Einzelfall zutreffen kann. Der Entzug eines so geschützten wohlerworbenen Rechts ist nur zulässig, wenn er auf gesetzlicher Grundlage beruht, im öffentlichen Interesse liegt und gegen volle Entschädigung erfolgt (SZS 1994 S. 379 Erw. 6b mit Hinweisen).
b) Nach ständiger Rechtsprechung verletzt ein Erlass den Grundsatz der rechtsgleichen Behandlung (Art. 4 Abs. 1 der bis 31. Dezember 1999 in Kraft gewesenen Bundesverfassung vom 29. Mai 1874, aBV), wenn er rechtliche Unterscheidungen trifft, für die ein vernünftiger Grund in den zu regelnden Verhältnissen nicht ersichtlich ist, oder wenn er Unterscheidungen unterlässt, die sich auf Grund der Verhältnisse aufdrängen. Die Rechtsgleichheit ist insbesondere verletzt, wenn Gleiches nicht nach Massgabe seiner Gleichheit gleich oder Ungleiches nicht nach Massgabe seiner Ungleichheit ungleich behandelt wird. Vorausgesetzt ist, dass sich der unbegründete Unterschied oder die unbegründete Gleichstellung auf eine wesentliche Tatsache bezieht.
Die Frage, ob für eine rechtliche Unterscheidung ein vernünftiger Grund in den zu regelnden Verhältnissen ersichtlich ist, kann zu verschiedenen Zeiten verschieden beantwortet werden, je nach den herrschenden Anschauungen und Zeitverhältnissen. Dem Gesetzgeber bleibt im Rahmen dieser Grundsätze und des Willkürverbots ein weiter Spielraum der Gestaltung (BGE 125 I 4 Erw. 2b/aa, 178 Erw. 6b, 125 II 345 Erw. 10b, 124 I 299 Erw. 3b, 124 V 15 Erw. 2a). Eine Entscheidung ist willkürlich, wenn sie eine Norm oder einen klaren und unumstrittenen Rechtsgrundsatz offensichtlich schwer verletzt, sich mit sachlichen Gründen schlechthin nicht vertreten lässt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Willkürliche Rechtsanwendung liegt nicht schon vor, wenn eine andere Lösung in Betracht zu ziehen oder sogar vorzuziehen wäre (BGE 125 I 168 Erw. 2a, 125 II 15 Erw. 3a, 124 I 316 Erw. 5a, 124 V 139 Erw. 2b, je mit Hinweisen). Diese zu Art. 4 Abs. 1 aBV entwickelte Rechtsprechung gilt auch unter der Herrschaft der neuen, seit 1. Januar 2000 in Kraft stehenden Bundesverfassung vom 18. April 1999 (BV; BGE 126 V 52 Erw. 3b mit Hinweisen).
c) Nach der Rechtsprechung geht der Grundsatz der Gesetzmässigkeit der Verwaltung in der Regel der Rücksicht auf die gleichmässige Rechtsanwendung vor. Der Umstand, dass das Gesetz in andern Fällen nicht oder nicht richtig angewendet worden ist, gibt dem Bürger und der Bürgerin grundsätzlich keinen Anspruch darauf, ebenfalls abweichend vom Gesetz behandelt zu werden. Das gilt jedoch nur, wenn lediglich in einem einzigen oder in einigen wenigen Fällen eine abweichende Behandlung dargetan ist. Wenn dagegen die Behörden die Aufgabe der in andern Fällen geübten, gesetzwidrigen Praxis ablehnen, können der Bürger oder die Bürgerin verlangen, dass die gesetzwidrige Begünstigung, die Dritten zuteil wird, auch ihnen gewährt werde (BGE 126 V 392 Erw. 6a, 122 II 451 Erw. 4a, 115 Ia 83 Erw. 2, 115 V 238/239, je mit Hinweisen auf Lehre und Rechtsprechung).
Diese Grundsätze gelten auch im Bereich der beruflichen Vorsorge (SZS 2000 S. 553 Erw. 4a mit Hinweisen).
d) Das Eidgenössische Versicherungsgericht hatte sich schon wiederholt mit Leistungsansprüchen zu befassen, die unter Berufung auf das verfassungsmässige Gleichbehandlungsgebot von Frau und Mann (Art. 4 Abs. 2 aBV, heute Art. 8 Abs. 2 BV) erhoben wurden. Laut BGE 117 V 318 verletzt ein unterschiedliches Pensionierungsalter für weibliche und männliche Beamte im Rahmen einer kantonalen Pensionskasse das Gleichbehandlungsgebot. Das Eidgenössische Versicherungsgericht beschränkte sich indes auf die Feststellung der Verfassungswidrigkeit unter Verzicht auf die Herstellung des verfassungsmässigen Zustandes; es verwies dabei auf die limitierte funktionelle Eignung des Richters, einen Regelungsbereich grundlegend neu zu normieren (BGE 123 V 191 Erw. 4 e und f mit Hinweisen).
7.- Der vorzeitige Rücktritt ab dem 63. Altersjahr ist sowohl für die Übergangsgeneration (Jahrgänge 1927 bis 1939) mit mindestens 35 Versicherungsjahren (Art. 97 lit. b Ziff. 3 VVK) als auch für die jüngeren Versicherten (Art. 34 Abs. 1 VVK) ohne Kürzung der Rente möglich, sodass in dieser Hinsicht keine Ungleichbehandlung vorliegt. Bezüglich des freiwilligen vorzeitigen Rücktritts nach vollendetem
60. Altersjahr werden bei der Übergangsgeneration Kürzungen von 0,6 % pro Monat zwischen dem 60. und
63. Altersjahr sowie von 0,45 % pro Monat zwischen dem 63.
und 65. Altersjahr vorgenommen (Art. 97 lit. b Ziff. 3 VVK), während bei den übrigen Versicherten lediglich eine Kürzung von 0,5 % pro Monat zwischen dem 60. und 63. Altersjahr erfolgt (Art. 34 Abs. 1 in Verbindung mit Art. 35 Abs. 1 und Art. 38 VVK). Wie die Vorinstanz in ihrem Entscheid zutreffend dargelegt hat, gibt es sachliche Gründe für diese Ungleichbehandlung. Es ist dies einerseits die Rentenunterfinanzierung der Übergangsgeneration infolge erheblicher Lohnanstiege ohne entsprechenden Einkauf in die Versicherungskasse bis 1982; andererseits sollte mit der Revision der VVK der Rücktritt ab dem 63. Altersjahr für alle ohne Renteneinbusse ermöglicht werden, was jedoch eine Differenzierung beim vorzeitigen Rücktritt, d.h. vor dem
63. Altersjahr, je nach Finanzierungsgrad des entsprechenden Jahrgangs erforderlich machte. Die Ungleichbehandlung ist demnach nicht zu beanstanden. Vielmehr würde die beantragte Gleichstellung der Übergangsgeneration mit den übrigen Versicherten einen Verstoss gegen die Rechtsgleichheit bedeuten; denn dies würde erfordern, dass die jüngeren Mitglieder der Versicherungskasse diese Gleichbehandlung trotz Rentenunterfinanzierung durch höhere Beiträge mitzutragen hätten (BGE 127 V 256 Erw. 3b mit Hinweis). Auch hat das kantonale Gericht zu Recht festgehalten, dass dem Beschwerdeführer die Möglichkeit offen gestanden hätte, sich durch eine rechtzeitige Erklärung sowie entsprechende zusätzliche Beitragszahlungen der neuen Ordnung zu unterstellen; der Umstand, dass der Versicherte von dieser Möglichkeit keinen Gebrauch gemacht hat und deshalb nun der Regelung für die Übergangsgeneration unterliegt, vermag keine Ausnahme zu begründen, zumal auch keine wohlerworbenen Rechte auf Grund einzelfallbezogener Zusicherungen der Anwendung des Übergangsrechts entgegenstehen. Ebenfalls richtig sind die Ausführungen der Vorinstanz über die Versicherungsjahre und deren Bedeutung für die hier zu beurteilende Frage; denn auch dies ist durch sachliche Gründe gerechtfertigt (die oben erwähnte Rentenunterfinanzierung der älteren Generation) und es liegt kein versicherungsmathematischer Fehler vor, sodass die Regelung nicht zu beanstanden ist.
8.- Der weitere Antrag des Versicherten, er sei nachträglich der neuen Ordnung nach Art. 97 lit. c in Verbindung mit Art. 97 lit. a VVK zu unterstellen, ist offensichtlich unbegründet; denn hiezu wäre eine Erklärung des Beschwerdeführers bis spätestens 30. Juni 1990 mit entsprechenden zusätzlichen Beitragszahlungen notwendig gewesen, welche er jedoch nicht geleistet hat. Auch kann nicht eine nachträgliche Unterstellung deshalb erfolgen, weil er bei seinem Eintritt nach seinem Dafürhalten einen Einkaufsüberschuss aufwies, da es hiefür keine gesetzliche oder reglementarische Grundlage gibt. Sein diesbezüglicher Anspruch ist somit verwirkt, weshalb offen bleiben kann, ob ein entsprechender Überschuss überhaupt vorlag.
Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit
darauf einzutreten ist.
II.Es werden keine Gerichtskosten erhoben.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons St. Gallen und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 18. Februar 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Die Präsidentin der IV. Kammer:
Die Gerichtsschreiberin: