Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
2.- Im vorinstanzlichen Verfahren hat der Beschwerdeführer den Anspruch auf Rückerstattung der Auskaufssumme u.a. mit den Bestimmungen der Verordnung betreffend die vorzeitige Pensionierung von Mitgliedern der Pensionskasse des Basler Staatspersonals vom 28. März 1995 ("P57-Verordnung"; SR/BS 166. 300) begründet. Hieran wird in der Verwaltungsgerichtsbeschwerde zu Recht nicht festgehalten. Nach den zutreffenden und unbestritten gebliebenen Feststellungen der Vorinstanz sieht die Verordnung eine Rückzahlung der Auskaufs- bzw. Einkaufssumme nur vor, wenn der vorzeitig Pensionierte nicht mehr als zehn Beitragsjahre aufweist und deshalb Anspruch auf eine Abfindung anstelle einer Rente hat (§ 4 Abs. 1 und 2 P57-Verordnung). Nichts anderes ergibt sich aus § 6 der Verordnung, wonach für die Berechnung der Altersleistungen die Bestimmungen des PKG bzw. der Übergangsordnung zu diesem Gesetz Anwendung finden und wonach der Staat der Kasse die Mehrbelastung im Deckungskapital (worunter die Differenz zwischen dem Deckungskapital bei ordentlicher Altersgrenze und demjenigen bei vorzeitiger Pensionierung gemäss P57-Verordnung zu verstehen ist) vergütet. Wie die Beschwerdegegnerin in der Vernehmlassung zur Verwaltungsgerichtsbeschwerde zutreffend feststellt, geht daraus klar hervor, dass die vom Arbeitgeber veranlassten vorzeitigen Pensionierungen für die Pensionskasse kostenneutral zu sein haben.
3.- Der Beschwerdeführer begründet die Rückforderung mit dem Gebot der Rechtsgleichheit, welches seiner Auffassung nach dadurch verletzt ist, dass Arbeitnehmer, die eine Rentenkürzung zufolge Vorverlegung des Rentenalters ausgekauft haben, gleichgestellt werden mit Arbeitnehmern, die keinen Auskauf vorgenommen haben.
a) Unbestritten ist, dass sich aus der mit der Änderung des PKG vom 15. Februar 1995 auf den 1. Juli 1995 beschlossenen Herabsetzung der ordentlichen Altersgrenze auf das 60. bis 63. Altersjahr (§ 30 PKG) noch keine Ungleichbehandlung ergibt, welche die Rückforderung der geleisteten Auskaufssumme zu rechtfertigen vermöchte. Nach der Übergangsbestimmung von § 64b Abs. 2 und 3 PKG wird bei Anwendung der neuen Altersgrenze auf versicherte aktive Männer mit Lebensalter 50 oder älter der für die Berechnung der Rentenleistungen massgebende anrechenbare Lohn um 0,25 % pro Monat gekürzt, um den die neue Altersgrenze tiefer ausfällt, wobei die Kürzung durch einen nach versicherungstechnischen Grundsätzen berechneten Betrag ausgekauft werden kann. Daraus folgt, dass ein vor der Gesetzesänderung erfolgter Auskauf der Rentenkürzung auch unter dem neuen Recht wirksam bleibt.
Anders verhält es sich im Lichte der P57-Verordnung, indem nach deren § 3 Abs. 1 das vorzeitig pensionierte Mitglied bezüglich der Pensionskassenleistungen so gestellt wird, wie wenn es die ordentliche Altersgrenze erreicht hätte. Diese ebenfalls auf den 1. Juli 1995 in Kraft getretene Regelung führt insofern zu Ungleichheiten, als die vorzeitig Pensionierten unabhängig vom Lebensalter und der Versicherungsdauer und insbesondere ungeachtet des Umstandes, ob sie sich zuvor auf dieses Rentenalter eingekauft haben, Anspruch auf Leistungen wie Versicherte nach dem zurückgelegten 63. Altersjahr haben. Nach Auffassung des Beschwerdeführers ist hierin eine gegen <ref-law> verstossende Rechtsungleichheit zu erblicken.
b) Auszugehen ist davon, dass die Statuten öffentlichrechtlicher Vorsorgeeinrichtungen auch zu Ungunsten der Versicherten abänderbar sind, soweit die Änderungen nicht wohlerworbene Rechte verletzen und nicht gegen das Willkürverbot oder die Rechtsgleichheit verstossen (<ref-ruling> Erw. 5 mit Hinweisen). Gegen die Rechtsgleichheit verstösst eine Regelung, wenn sie sich nicht auf ernsthafte Gründe stützen lässt, sinn- oder zwecklos ist oder rechtliche Unterscheidungen trifft, für die sich ein vernünftiger Grund nicht finden lässt. Gleiches gilt, wenn sie es unterlässt, Unterscheidungen zu treffen, die richtigerweise hätten berücksichtigt werden sollen (<ref-ruling> Erw. 3b mit Hinweisen).
In dem in SZS 1989 S. 313 veröffentlichten Urteil W.
vom 30. September 1988 hat das Bundesgericht ein wohlerworbenes Recht des Versicherten auf vorzeitige Pensionierung nach den bisherigen Versicherungsbedingungen bei Übernahme einer Vorsorgeeinrichtung durch eine andere Einrichtung verneint und festgestellt, dass eine Übergangsregelung, wonach Personen, die bei Inkrafttreten der neuen Bestimmungen das 55. bzw. 57. Altersjahr zurückgelegt hatten, die Möglichkeit eingeräumt wurde, mit 60 Jahren zu den bisherigen Bedingungen in den Ruhestand zu treten, nicht gegen die Rechtsgleichheit verstösst. Offen liess das Gericht, ob der Umstand, dass der Versicherte sich im Hinblick auf eine vorzeitige Pensionierung auf das 25. Altersjahr zurück eingekauft hatte, Anlass zu einer Rückerstattung der Einkaufssumme gab (SZS 1989 S. 327 Erw. 5). Rechtsungleich ist nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts eine statutarische Regelung, welche die mehr als 55-jährigen Versicherten vom rückwirkenden Einkauf im Hinblick auf das herabgesetzte Rücktrittsalter ausschliessen wollte (<ref-ruling> Erw. 3b). Als gegen die Rechtsgleichheit verstossend hat das Gericht auch eine Regelung qualifiziert, wonach freiwillig versicherte Mitglieder einer öffentlichrechtlichen Vorsorgeeinrichtung, die keinen Anspruch auf vorzeitige Pensionierung hatten, an der Finanzierung der vorzeitigen Pensionierung der obligatorisch versicherten Mitglieder durch höhere Beiträge mitzuwirken hatten; im konkreten Fall wurde dem freiwillig Versicherten ein Anspruch auf Rückerstattung der zur Finanzierung des flexiblen Rentenalters der obligatorisch versicherten Mitglieder entrichteten (zusätzlichen) Beiträge zuerkannt (SZS 1997 S. 331). Keinen Verstoss gegen die Rechtsgleichheit hat das Gericht darin erblickt, dass ein kantonales Pensionskassendekret es bei Neueintretenden dem pflichtgemässen Ermessen des Arbeitgebers überliess, einen Teil des freiwilligen Eintrittsgeldes zu übernehmen, während eine solche Möglichkeit für die aus der Sparversicherung in die Pensionskasse Übertretenden nicht bestand (nicht veröffentlichtes Urteil H. vom 7. November 1989, B 8/88; vgl. Meyer-Blaser, Die Rechtsprechung von Eidgenössischem Versicherungsgericht und Bundesgericht zum BVG, 1985-1989, in: SZS 1990 S. 83 f.).
c) Im vorliegenden Fall ist ein Verstoss gegen das Rechtsgleichheitsgebot von <ref-law> zu verneinen.
Anders als in dem in SZS 1997 S. 331 beurteilten Sachverhalt, hat der Beschwerdeführer mit der streitigen Auskaufssumme nicht zur Finanzierung der vorzeitigen Pensionierung derjenigen (vorzeitig pensionierten) Versicherten beigetragen, die sich nicht auf das 63. Altersjahr eingekauft haben.
Auch ist er in seinen Rechten in keiner Weise geschmälert worden. Es verhält sich vielmehr nur so, dass er aus dem Auskauf der Rentenkürzung keine Vorteile mehr zieht, weil er zufolge vorzeitiger Pensionierung ohnehin in den Genuss der entsprechenden Leistungen gelangt. Die damit verbundene faktische Ungleichbehandlung gegenüber andern vorzeitig pensionierten Versicherten, die sich nicht rückwirkend eingekauft haben, stellt keine Verletzung der Rechtsgleichheit dar. Vielmehr gebietet gerade das Gleichbehandlungsgebot, dass vorzeitig Pensionierte ungeachtet ihrer persönlichen Versicherungsdauer so behandelt werden, wie wenn sie die reglementarische Altersgrenze erreicht hätten. Es liegt in der Natur vorzeitiger Pensionierungen durch den Arbeitgeber, dass generelle Lösungen zu treffen sind, welche sich je nach der individuellen Altersgrenze und Versicherungsdauer für die Betroffenen unterschiedlich auswirken können. Auch unter dem Gesichtspunkt einer einfachen und praktikablen Lösung ist die hier zur Diskussion stehende Regelung sachlich begründet. Dass die streitige Regelung Unterscheidungen trifft, für die sich ein vernünftiger Grund nicht finden lässt, kann nicht gesagt werden.
Ebenso wenig unterlässt sie Unterscheidungen, die richtigerweise hätten berücksichtigt werden müssen. Fraglich kann daher lediglich sein, ob sich ein Rückforderungsanspruch unter einem andern Rechtstitel ergibt.
4.- a) Zu Recht hält der Beschwerdeführer an der in der Klage vom 15. Februar 2000 vertretenen Auffassung nicht fest, wonach sich ein Rückforderungsanspruch daraus ergibt, dass der Rechtsgrund der Zahlung nachträglich weggefallen ist. Zwar gilt analog zu den privatrechtlichen Regeln über die ungerechtfertigte Bereicherung (<ref-law>) auch im Verwaltungsrecht als allgemeiner Rechtsgrundsatz, dass Zuwendungen, die aus einem nicht verwirklichten oder nachträglich weggefallenen Grund erfolgten, zurückzuerstatten sind (<ref-ruling> Erw. 4b mit Hinweisen). Im vorliegenden Fall ist der Rechtsgrund für die streitige Zahlung zwar insofern nachträglich weggefallen, als der Beschwerdeführer zufolge vorzeitiger Pensionierung auch ohne den Einkauf in den Genuss der vollen Leistungen gelangt wäre. Die Voraussetzungen für eine Rückerstattung der Auskaufssumme unter dem Titel der ungerechtfertigten Bereicherung sind jedoch nicht gegeben. Zum einen hatte der Beschwerdeführer keinen zwingenden Rechtsanspruch auf Fortbestand seiner Anwartschaften, indem der Rechtszustand auch zu seinen Ungunsten hätte geändert werden können (vgl. <ref-ruling>). Zum andern hat die Vorsorgeeinrichtung keinen ungerechtfertigten Vermögensvorteil erlangt, weil auch die vom Beschwerdeführer geleistete Auskaufssumme das für die vorzeitige Pensionierung erforderliche Deckungskapital nur zum Teil ausgleicht.
Begünstigt ist allenfalls der nach § 6 Abs. 2 der P57-Verordnung zum Ausgleich des Deckungskapitals verpflichtete Kanton. Darin lässt sich jedoch keine die Rückerstattungspflicht der Vorsorgeeinrichtung rechtfertigende Bereicherung erblicken. Wie das Eidgenössische Versicherungsgericht in dem in SZS 1987 S. 244 veröffentlichten Urteil B. vom 26. Juni 1987 (B 1/87) ausgeführt hat, ist der rückwirkende Einkauf von Versicherungsjahren kein reiner Sparvorgang, sondern dient auch wesentlich dazu, die Leistungen im Falle des Eintritts des versicherten Risikos - und dies nicht nur in Bezug auf die Alters-, sondern auch im Hinblick auf die Invaliditäts- und Todesfallleistungen - zu verbessern. Der Umstand, dass von der Möglichkeit des vorzeitigen Altersrücktritts nicht Gebrauch gemacht wird, bedeutet daher nicht, dass die Vorsorgeeinrichtung ungerechtfertigt bereichert ist und die Einkaufssumme zurückzuerstatten hat (Meyer-Blaser, a.a.O., S. 84; vgl. auch Viret; La jurisprudence du TFA en matière de prévoyance professionnelle: de diverses questions de fond, in: SVZ 1991 S. 108 f.). Dies hat auch im vorliegenden Fall einer Herabsetzung der Altersgrenze zufolge vorzeitiger Pensionierung zu gelten.
b) Zu einem andern Ergebnis vermag schliesslich auch der Grundsatz von Treu und Glauben (<ref-law>), wie er im öffentlichen Recht Geltung hat (<ref-law>; <ref-ruling> Erw. 3a, 121 V 66 Erw. 2a, 120 V 449 Erw. 4b, je mit Hinweisen), nicht zu führen. Der Auskauf der Rentenkürzung erfolgte im April 1996 und damit lange vor der vorzeitigen Pensionierung auf Ende 1998. Zwar ist die P57-Verordnung bereits am 1. Juli 1995 und damit vor dem Auskauf der Rentenkürzung in Kraft gesetzt worden. Der Beschwerdeführer macht jedoch nicht geltend, die Pensionskasse hätte ihn hierüber ausdrücklich informieren müssen und er hätte bei entsprechender Information von einem Auskauf abgesehen.
Hiezu bestand schon deshalb kein Anlass, weil im damaligen Zeitpunkt völlig ungewiss war, ob und gegebenfalls in welchem Zeitpunkt eine vorzeitige Pensionierung verfügt werden könnte. Es ist daher anzunehmen, dass sich der Beschwerdeführer mit dem Auskauf der Rentenkürzung so oder so eine Pensionierung mit vollen Leistungen auf das vollendete
63. Altersjahr sichern wollte. Eine Rückerstattung der Auskaufssumme rechtfertigt sich daher auch unter dem Gesichtspunkt von Treu und Glauben nicht.
5.- Im vorliegenden Prozess geht es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen, weshalb das Verfahren kostenpflichtig ist (Art. 134 OG e contrario). Entsprechend dem Ausgang des Prozesses sind die Kosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Die Gerichtskosten von Fr. 1600.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Basel-Stadt und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 26. Juli 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der I. Kammer:
Der Gerichtsschreiber:
i.V.