A.- Der am 19. November 1921 geborene T._ war vom 1. Januar 1980 bis 30. November 1986 als selbstständig erwerbender Landwirt im Nebenerwerb der Ausgleichskasse des Kantons Aargau angeschlossen. Hauptberuflich arbeitete er seit 1964 beim Kanton. Am 31. Mai 1995 veräusserte T._ die 1965 erworbene, in der Gemeinde A._ gelegene Liegenschaft B._. Aufgrund der Meldung des kantonalen Steueramtes vom 3. April 1998 über den dabei erzielten (Kapital-)Gewinn von Fr. 435'620.- erhob die Ausgleichskasse mit Verfügung vom 27. September 2000 einen Sonderbeitrag inkl. Verwaltungskosten von Fr. 40'754. 60.
B.- T._ erhob hiegegen Beschwerde, welche das Versicherungsgericht des Kantons Aargau mit Entscheid vom 21. November 2000 abwies.
C.- Mit Verwaltungsgerichtsbeschwerde beantragt T._ sinngemäss die Aufhebung von Entscheid und Verfügung.
Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, lässt sich das Bundesamt für Sozialversicherung nicht vernehmen.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Das kantonale Gericht hat die streitige Sonderbeitragspflicht mit folgender Begründung bejaht: "Vorliegend ist unbestritten, dass der im Jahre 1995 veräusserte Landwirtschaftsbetrieb vom Beschwerdeführer bis zur Aufgabe der Erwerbstätigkeit im Jahre 1986 selbst bewirtschaftet wurde und deshalb seinem Geschäftsvermögen zugehörte. Die nicht privat genutzten Vermögensgegenstände verbleiben aber bei der Aufgabe der selbständigen Erwerbstätigkeit im Geschäftsvermögen; sie gehen durch blossen Zeitablauf nicht ins Privatvermögen über; die bei der späteren Veräusserung erzielten Gewinne werden daher als Einkommen aus selbständiger Erwerbstätigkeit besteuert (<ref-ruling> ff. Regest und Erw. 6). Der Beschwerdeführer macht nicht geltend, dass er den Landwirtschaftsbetrieb nach Aufgabe seiner Geschäftstätigkeit der bisherigen Zweckbestimmung entzogen und nur mehr zu privaten Zwecken genutzt, mithin ins Privatvermögen überführt habe. Damit ist auch aus AHV-rechtlicher Sicht davon auszugehen, dass der Betrieb im Geschäftsvermögen verblieben ist, weshalb die Beschwerdegegnerin den Veräusserungsgewinn zu Recht als beitragspflichtiges Erwerbseinkommen qualifiziert hat.. "
2.- In der Verwaltungsgerichtsbeschwerde wird die Zuordnung der landwirtschaftlichen Liegenschaft B._ zum Geschäftsvermögen und damit auch die Qualifikation als selbstständig erwerbender Landwirt bestritten. Der Beschwerdeführer macht geltend, er und seine Frau hätten als Nichtbauern eine kleinere Landfläche hobbymässig bewirtschaftet.
Der grösste Teil der Landfläche sei an verschiedene Vollerwerbsbauern verpachtet worden. Sie (selber) hätten nicht gewerbsmässig produziert, sondern nur für den kleinen Viehbestand (zwei Rinder und eine Kuh), als Eigenbedarf.
3.- Ist die erstmals in diesem Verfahren geltend gemachte Verpachtung von Land Tatsache und liegt insofern eine nicht unter die Beitragspflicht fallende Verwaltung eigenen Vermögens vor (vgl. <ref-ruling> Erw. 2a; ferner <ref-ruling> Erw. 3c und 120 ff. Erw. 5), wäre der die Liegenschaft B._ als eine gemischt genutzte Liegenschaft zu betrachten. Als solche wäre das Anwesen nach der Präponderanzmethode entsprechend seiner überwiegenden Zweckbestimmung unaufgeteilt entweder als Privat- oder als Geschäftsvermögen zu qualifizieren (<ref-ruling> Erw. 5a).
Folgerichtig entfiele die streitige Sonderbeitragspflicht, wenn vom Nutzungszweck her die Verpachtung von Land die eigene landwirtschaftliche (Nebenerwerbs-)Tätigkeit überwiegt.
Ob diese Argumentation richtig ist, kann aufgrund der Akten nicht in zuverlässiger Weise geprüft werden.
Einer Neubeurteilung der streitigen Sonderbeitragspflicht im Sinne des soeben Gesagten unter Rückweisung der Sache an die Vorinstanz steht nicht entgegen, dass der Beschwerdeführer nicht bereits im kantonalen Verfahren vorgebracht hat, den grössten Teil der Landfläche an Dritte verpachtet zu haben. Trotz der in tatsächlicher Hinsicht eingeschränkten Kognition des Eidgenössischen Versicherungsgerichts (Art. 132 in Verbindung mit Art. 105 Abs. 2 OG) ist diese neue Tatsachenbehauptung unter den gegebenen Umständen zu berücksichtigen. Der Beschwerdeführer war lediglich als Landwirt im Nebenerwerb der Ausgleichskasse angeschlossen. Hauptberuflich war er Staatsangestellter.
Im Weitern stand er während der Zeit des Anschlusses als Selbstständigerwerbender vom 1. Januar 1980 bis 30. November 1986 bereits in fortgeschrittenem Alter. Ob er auch danach noch als Pensionierter (hobbymässig) Landwirtschaft betrieben hat, lässt sich im Übrigen ebenso wenig ausschliessen wie das Gegenteil. In diesem Zusammenhang ist auch unklar, wie die Pachtzinseinnahmen steuerlich erfasst wurden und ob darauf persönliche Beiträge erhoben worden waren. In rechtlicher Hinsicht ist schliesslich zu beachten, dass unter dem bis 31. Dezember 1994 geltenden Recht für die Zuordnung gemischt genutzter Liegenschaften zum Privat- oder Geschäftsvermögen noch die Wertzerlegungsmethode galt. Danach waren in der Regel lediglich die Erträgnisse aus dem geschäftlichen Teil in die Beitragsberechnung miteinzubeziehen (<ref-ruling> Erw. 2a, 111 V 84 Erw. 2b mit Hinweis). Bei dieser Aktenlage durfte die Vorinstanz nicht ohne weiteres von der entscheidwesentlichen Annahme der Selbstbewirtschaftung der gesamten Liegenschaft ausgehen.
4.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend sind die Gerichtskosten der Ausgleichskasse aufzuerlegen (Art. 156 in Verbindung mit Art. 135 OG).

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird in dem Sinne
gutgeheissen, dass der Entscheid vom 21. November 2000
aufgehoben und die Sache an das Versicherungsgericht
des Kantons Aargau zurückgewiesen wird, damit es nach
Abklärungen im Sinne der Erwägungen über die Sonderbeitragspflicht
neu entscheide.
II.Die Gerichtskosten von Fr. 3500.- werden der Ausgleichskasse des Kantons Aargau auferlegt.
III. Der geleistete Kostenvorschuss von Fr. 3500.- wird dem
Beschwerdeführer zurückerstattet.
IV.Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 12. April 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer:
Der Gerichtsschreiber: