Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Der Beschwerdeführer macht geltend, das Versicherungsgericht des Kantons Aargau sei zur Beurteilung der vorliegenden Schadenersatzklage örtlich nicht zuständig gewesen. Diese Rüge betrifft ein formelles Gültigkeitserfordernis des Verfahrens und ist vorab zu prüfen (<ref-ruling> Erw. 1b, 116 V 202 Erw. 1a; Gygi, Bundesverwaltungsrechtspflege,
2. Aufl. , S. 72 f.).
a) Mit Bezug auf die örtliche Zuständigkeit der kantonalen Rekursinstanz in Schadenersatzprozessen gemäss <ref-law> bestimmt <ref-law>, dass die Ausgleichskasse innert 30 Tagen seit Kenntnis des Einspruchs gegen die Schadenersatzverfügung bei der Rekursbehörde des Kantons, in welchem der Arbeitgeber seinen Wohnsitz hat, schriftlich Klage zu erheben hat. Dazu hat das Eidgenössische Versicherungsgericht wiederholt erkannt, dass <ref-law> keine ausdrückliche Bestimmung über die örtlich zuständige Rekursbehörde bei Schadenersatzklagen gegen juristische Personen und deren Organe enthält. Nach der Rechtsprechung ist die Klage in diesen Fällen bei der Rekursbehörde jenes Kantons zu erheben, wo die juristische Person ihren Sitz hat oder vor dem Konkurs hatte, und zwar ohne Rücksicht auf den Wohnsitz der in Anspruch genommenen Organe (<ref-ruling> Erw. 4b, 109 V 101, bestätigt im Urteil A. vom 29. Januar 2001, H 236/00).
b) Der Beschwerdeführer hat seinen zivilrechtlichen Wohnsitz im Kanton Y._, die in Konkurs gefallene Firma hingegen hatte ihren Geschäftssitz im Kanton Aargau.
Nun verlangt der Beschwerdeführer, dass sich die Rekursbehörde des Kantons Y._ mit der vorliegenden Streitsache befasse. Er bestreitet zwar nicht, dass die Vorinstanz ihre örtliche Zuständigkeit an sich in Übereinstimmung mit der geltenden Rechtsprechung bejaht habe. Vielmehr verlangt er eine Praxisänderung. Zur Begründung führt er aus, gemäss <ref-law> sei die Schadenersatzklage am Wohnsitz des Arbeitgebers anzubringen. Nach dem allgemeinen Sprachgebrauch könne unter dem Begriff "Wohnsitz des Arbeitgebers" wohl auch der Firmensitz verstanden werden.
Falle ein Betrieb aber in Konkurs, könnten naturgemäss nur noch ihre ehemaligen Organe als Privatpersonen belangt werden.
Diesfalls sei "Arbeitgeber" eine natürliche Person, weshalb unter dem Wohnsitz des Arbeitgebers nur deren persönlicher Wohnsitz, nicht aber der ehemalige Geschäftssitz der konkursiten Firma zu verstehen sei. Eine konsequente Anwendung von <ref-law> führe somit zum Ergebnis, dass eine gegen die Unternehmung gerichtete Schadenersatzklage bei der Rekursbehörde des Firmensitzes, eine gegen die Organe gerichtete Klage hingegen bei derjenigen am Wohnsitz der belangten Personen zu erheben sei. Zum gleichen Resultat führe die analoge Anwendung von Art. 200 und 200bis AHVV, wonach zur Beurteilung von Beschwerden gegen Verfügungen die Rekursbehörde des Kantons zuständig sei, in welchem der Beschwerdeführer bei Erlass der angefochtenen Verfügung seinen Wohnsitz, Sitz oder Aufenthalt hatte. Das Eidgenössische Versicherungsgericht habe in <ref-ruling> denn auch festgehalten, dass eine Verfügung am Wohnsitz bzw. Aufenthaltsort des Verfügungsadressaten zugestellt werden müsse.
c) Sprechen keine entscheidenden Gründe zu Gunsten einer Praxisänderung, ist die bisherige Praxis beizubehalten.
Gegenüber dem Postulat der Rechtssicherheit lässt sich eine Praxisänderung grundsätzlich nur begründen, wenn die neue Lösung besserer Erkenntnis der ratio legis, veränderten äusseren Verhältnissen oder gewandelten Rechtsanschauungen entspricht. Nach der Rechtsprechung ist eine bisherige Praxis zu ändern, wenn sie als unrichtig erkannt oder wenn deren Verschärfung wegen veränderter Verhältnisse oder zufolge zunehmender Missbräuche für zweckmässig gehalten wird (<ref-ruling> Erw. 6a, 387 Erw. 4c, je mit Hinweisen).
d) Mit der hier vorgetragenen Problematik zur Auslegung von <ref-law> und der analogen Anwendung von <ref-law> auf das Schadenersatzverfahren nach <ref-law> hat sich das Eidgenössische Versicherungsgericht bereits in <ref-ruling> (deutsche Übersetzung in ZAK 1983 S. 537) befasst. Dabei hat es erwogen, <ref-law> sei gesetzmässig (<ref-ruling> Erw. 3b mit Hinweis auf <ref-ruling>). Diese Vorschrift sehe für den nicht als Beschwerde-, sondern als Klageverfahren mit vorausgehendem Einspracheverfahren ausgestalteten Schadenersatzprozess eine von <ref-law> abweichende Zuständigkeit vor.
<ref-law> unterscheide nicht zwischen dem Arbeitgeber als natürlicher oder juristischer Person und nenne auch die von Praxis und Rechtsprechung vorgesehene Möglichkeit einer Klage gegen die für den Schaden verantwortlich gehaltenen Mitglieder der Gesellschaftsorgane nicht. Bei der Bestimmung des Gerichtsstandes könnten daher Auslegungsunterschiede entstehen, liessen sich doch sowohl die Rekursbehörde am Sitz der Gesellschaft als auch diejenige am Wohnsitz der einzelnen Mitglieder der verantwortlichen Organe als zuständig erachten. Das Eidgenössische Versicherungsgericht verwarf jedoch eine analoge Anwendung der Regelung nach <ref-law> aus der Überlegung heraus, dass Mitglieder einer Gesellschaft, die für einen gemeinsam verursachten Schaden solidarisch haften (<ref-ruling> Erw. 3b mit Hinweis auf <ref-ruling>), in verschiedenen Kantonen Wohnsitz haben könnten. Daher würde bei örtlicher Zuständigkeit der Rekursbehörden am jeweiligen Wohnsitz dieser Personen die gleichzeitige Zuständigkeit verschiedener Gerichte mehrerer Kantone zur Beurteilung desselben Falles bejaht, was widersprüchliche und voneinander abweichende Entscheide verursachen könne. Überdies müsste für im Ausland domizilierte Personen eine besondere schweizerische Rekursinstanz bezeichnet werden. Eine derartige Lösung hätte somit erhebliche Nachteile für die Rechtssicherheit, weshalb Haftungsklagen gegen Gesellschaftsorgane beim Gericht desjenigen Kantons anzustrengen seien, in welchem die Gesellschaft Sitz hatte oder hat.
e) Die in diesem Urteil angestellten Erwägungen sind weiterhin gültig. Wegen den beschriebenen nachteiligen Folgen für die Rechtssicherheit, gegen welche die vom Beschwerdeführer vorgetragenen Gründe für eine Praxisänderung nicht aufzukommen vermögen, ist die bisherige Rechtsprechung beizubehalten.
2.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3.- Das kantonale Gericht hat unter Hinweis auf Gesetz (<ref-law>) und Rechtsprechung (vgl. statt vieler <ref-ruling> Erw. 5b) die Voraussetzungen richtig dargelegt, unter welchen Organe juristischer Personen den der Ausgleichskasse wegen Verletzung der Vorschriften über die Beitragsabrechnung und -zahlung (<ref-law>, <ref-law>) qualifiziert schuldhaft verursachten Schaden zu ersetzen haben. Darauf wird verwiesen.
4.- Die Vorinstanz hat für das Eidgenössische Versicherungsgericht verbindlich (Erw. 2 hievor) festgestellt, dass der Beschwerdeführer mit der Geschäftsführung der kleinen Firma X._ AG nichts zu tun gehabt hat. Der Verwaltungsratspräsident habe alles allein erledigt und dem Beschwerdeführer die nötigen Informationen vorenthalten. Im Frühsommer 1994 sei der Beschwerdeführer von diesem um ein Darlehen von Fr. 4000.- gebeten worden; im Herbst 1994 habe er weitere Fr. 1500.- in die Firma gesteckt. Obwohl somit Hinweise auf finanzielle Probleme vorgelegen hätten, habe der Beschwerdeführer nichts vorgekehrt, um Einblick in die Geschäftsbücher zu erhalten. Eine solche Passivität erachtete die Vorinstanz als grobfahrlässig im Sinne von <ref-law>.
In der Tat weist der Beschwerdeführer keine geeigneten Massnahmen wie Fristansetzung, Einberufung einer Verwaltungsratssitzung, Austritt aus dem Verwaltungsrat nach, mit welchen er versucht hätte, Einblick in die Unterlagen des Betriebes zu erhalten. Gerade faktisch von der Geschäftsführung ausgeschlossene Verwaltungsräte müssen sich umso bestimmter bemühen, die mit ihrem Mandat von Gesetzes wegen verbundenen Pflichten zu erfüllen (jüngst bestätigt in den Urteilen S. vom 28. März 2001, H 310/97, und T. vom 21. November 2000, H 37/00). Die Passivität, welche der Beschwerdeführer gar nicht bestreitet, ist grobfahrlässig (ZAK 1989 S. 104). Mit dem Abschieben der Schuld auf den Verwaltungsratspräsidenten kann er sich nicht exkulpieren. Weitere Beweismassnahmen drängen sich nicht auf, da diese nichts daran zu ändern vermöchten, dass der Beschwerdeführer seinen Pflichten nicht nachgekommen ist. Dem zutreffenden kantonalen Entscheid ist nichts Weiteres beizufügen.
5.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (Art. 156 Abs. 1 OG). Der durch eine Anwältin vertretenen Ausgleichskasse steht trotz Obsiegens keine Parteientschädigung zu, da sie in Ausübung der ihr obliegenden öffentlich-rechtlichen Aufgaben gehandelt hat (Art. 159 Abs. 2 OG; <ref-ruling> Erw. 4a).

Demnach erkennt das Eidg. Versicherungsgericht:
I. Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II. Die Gerichtskosten von total Fr. 900.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Es werden keine Parteientschädigungen zugesprochen.
IV. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 18. Dezember 2001
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident der II. Kammer:
Der Gerichtsschreiber:
i.V.