A.- Der am 19. November 1921 geborene T._ war vom 1. Januar 1980 bis 30. November 1986 als selbstständig erwerbender Landwirt im Nebenerwerb der Ausgleichskasse des Kantons Aargau angeschlossen. Hauptberuflich arbeitete er seit 1964 beim Kanton. Am 31. Mai 1995 veräusserte T._ die 1965 erworbene, in der Gemeinde A._ gelegene Liegenschaft B._. Aufgrund der Meldung des kantonalen Steueramtes vom 3. April 1998 über den dabei erzielten (Kapital-)Gewinn von Fr. 435'620.- erhob die Ausgleichskasse mit Verfügung vom 27. September 2000 einen Sonderbeitrag inkl. Verwaltungskosten von Fr. 40'754. 60. B.- T._ erhob hiegegen Beschwerde, welche das Versicherungsgericht des Kantons Aargau mit Entscheid vom 21. November 2000 abwies. C.- Mit Verwaltungsgerichtsbeschwerde beantragt T._ sinngemäss die Aufhebung von Entscheid und Verfügung. Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, lässt sich das Bundesamt für Sozialversicherung nicht vernehmen.