A.- M._, lic. oec. et iur. , dipl. Wirtschaftsprüfer und Mitglied der Treuhandkammer, war einziges einzelzeichnungsberechtigtes Mitglied des Verwaltungsrates der 1996 im Handelsregister eingetragenen Firma X._ AG. Am 23. September 1998 gab M._ gegenüber der Generalversammlung der Firma X._ AG seinen sofortigen Rücktritt aus dem Verwaltungsrat bekannt. Da die Firma X._ AG die Löschung im Handelsregister nicht selber vornahm, veranlasste M._ dies persönlich im November 1998. Ende November 1998 wurde die Löschung des Eintrages von M._ als einziges Verwaltungsratsmitglied im SHAB publiziert. Am 4. August 1998 fakturierte die Ausgleichskasse des Kantons Aargau (nachfolgend: Ausgleichskasse) Sozialversicherungsbeiträge für 1997 in der Höhe von Fr. 110'604. 85 und für 1996 am 31. August 1998 über Fr. 54'475. 25. Am 10. August 1998 wurden die Monatspauschale für Juli und August 1998 von Fr. 20'036. 55 in Rechnung gestellt (einschliesslich FAK-Beiträge von Fr. 1498.-).
Am 9. November 1998 wurde über die Firma X._ AG der Konkurs eröffnet und am 5. Januar 1999 mangels Aktiven wieder eingestellt. Die Sozialversicherungsbeiträge für die Jahre 1996 und 1997 sowie für die beiden Monate Juli und August 1998 von Fr. 183'618. 65 (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) blieben unbezahlt. Am 23. Dezember 1999 erliess die Ausgleichskasse gegenüber M._ eine Schadenersatzverfügung in der Höhe von Fr. 184'048. 25.
M._ erhob dagegen am 25. Januar 2000 Einspruch.
B.- Die Ausgleichskasse machte ihre Schadenersatzforderung gegenüber M._ über Fr. 184'048. 25 beim Versicherungsgericht des Kantons Aargau klageweise geltend, welches die Klage mit Entscheid vom 3. Juli 2001 im Umfange von Fr. 103'940. 85 teilweise guthiess.
C.- Mit Verwaltungsgerichtsbeschwerde lässt M._ die Aufhebung des vorinstanzlichen Entscheides und die Abweisung der Klage der Ausgleichskasse beantragen.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.

Das Eidg. Versicherungsgericht zieht in Erwägung:
1.- Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als eine Schadenersatzforderung kraft Bundesrecht streitig ist. Es fragt sich, ob die Verwaltungsgerichtsbeschwerde auch eine Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse (FAK) betrifft (Art. 128 OG; <ref-ruling> Erw. 1, vgl. <ref-ruling> Erw. 1b, 118 V 69 Erw. 1b mit Hinweis).
Wie sich aus den einzelnen Positionen des Kontoauszuges der Ausgleichskasse ergibt, setzt sich die von der Beschwerdegegnerin eingeklagte Forderung von Fr. 184'048. 25 aus den ungedeckten AHV/IV/EO- und ALV-Beiträgen sowie Betreibungskosten zusammen. Auf die Verwaltungsgerichtsbeschwerde ist somit vollumfänglich einzutreten.
2.- Da es sich bei der angefochtenen Verfügung nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen handelt, hat das Eidgenössische Versicherungsgericht nur zu prüfen, ob das vorinstanzliche Gericht Bundesrecht verletzt hat, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3.- Die Vorinstanz hat die massgebenden Normen (<ref-law>, <ref-law> in Verbindung mit <ref-law>) und die Rechtsprechung zu den Voraussetzungen der Arbeitgeberorganhaftung, insbesondere zum Begriff der Grobfahrlässigkeit (siehe auch <ref-ruling> Erw. 4; ZAK 1988 S. 599 Erw. 5a), zur subsidiären Haftbarkeit der Organe (<ref-ruling> Erw. 5b), zur Haftungsvoraussetzung des qualifizierten Verschuldens (<ref-ruling> Erw. 1b, 193 Erw. 2b) sowie zum dabei zu berücksichtigenden - differenzierten - Sorgfaltsmassstab (<ref-ruling> Erw. 3a; vgl. auch Thomas Nussbaumer, Die Haftung des Verwaltungsrates nach <ref-law>, in: AJP 9/96, S. 1081) zutreffend wiedergegeben. Richtig sind auch die Erwägungen zum Eintritt des Schadens und zum Zeitpunkt der Kenntnis des Schadens (<ref-ruling> Erw. 3). Darauf wird verwiesen.
4.- a) Zu prüfen ist, ob der Beschwerdeführer der Beschwerdegegnerin Schadenersatz zu leisten hat. Als einzige Haftungsvoraussetzung ist das Verschulden des Beschwerdeführers streitig. Dieser bringt zunächst vor, die Firma X._ AG sei bis Herbst 1998 all ihren Verpflichtungen nachgekommen. Diese Behauptung ist offensichtlich unzutreffend, wären doch diesfalls auch die umstrittenen bundesrechtlichen Sozialversicherungsbeiträge bezahlt worden. Auch das Argument, die Auflösung des Agentenvertrages der Firma Y._ Ltd. mit der Firma X._ AG am 16. Oktober 1998 sei für die Nichtbezahlung der Sozialversicherungsbeiträge ursächlich gewesen, ist nicht stichhaltig, da diese bereits einige Zeit früher, als der Agenturvertrag noch nicht aufgelöst worden war, in Rechnung gestellt wurden.
b) Der Beschwerdeführer ist weiter der Auffassung, er könne für die unbezahlt gebliebenen Sozialversicherungsbeiträge nicht zur Verantwortung gezogen werden, da diese erst kurz vor seinem Ausscheiden aus dem Verwaltungsrat der Firma X._ AG am 23. September 1998 fakturiert worden seien.
Eine Begründung für den Austritt aus dem Verwaltungsrat der Firma X._ AG wurde vom Beschwerdeführer nicht vorgebracht. Auf Grund des zeitlichen Ablaufes muss aber angenommen werden, dass nicht zuletzt die in Rechnung gestellten Sozialversicherungsbeiträge zumindest mitursächlich für den Austritt des Beschwerdeführers aus dem Verwaltungsrat der Firma X._ AG gewesen sind. Nun kann sich ein verantwortliches Organ einer juristischen Person, die ihren Verpflichtungen zur Zahlung von Sozialversicherungsbeiträgen nicht nachkommt, nicht seiner Verantwortlichkeit entledigen, indem es möglichst rasch nach der Fakturierung von Beiträgen aus dem Verwaltungsrat ausscheidet, um so einer Haftung zu entgehen. Vielmehr haftet ein Verwaltungsrat für denjenigen Schaden, der auf den bis zu seinem Austritt fälligen Beiträgen beruht (<ref-ruling> Erw. 4a; AHI 2002 S. 54). Entgegen der Auffassung des Beschwerdeführers sind indes weder Abrechnungspflicht, Beitragsschuld noch Fälligkeit von der Zustellung einer Rechnung, einer Veranlagungs- oder Nachzahlungsverfügung seitens der Ausgleichskasse abhängig. Vielmehr entsteht die Beitragsschuld im Zeitpunkt der Lohnzahlung ex lege (Art. 14 und <ref-law>; <ref-ruling> Erw. 3a) und wird mit dem Ablauf der Zahlungsperiode fällig (<ref-law> in der bis 31. Dezember 2000 gültigen Fassung), was bei fortlaufender Lohnzahlung die Arbeitgeberin jedenfalls zu entsprechenden Rückstellungen verpflichtet. Obwohl die Jahresschlussabrechnungen für das Jahr 1997 vom 4. August 1998 und diejenige für das Jahr 1996 vom 31. August 1998 datieren, waren die Jahresbeiträge für die genannten Jahre nach <ref-law> in der bis 31. Dezember 2000 gültigen Fassung bereits mit Ablauf der jeweiligen Kalenderjahre fällig geworden. Daran ändert nichts, dass die Ausgleichskasse der Gesellschaft ausnahmsweise und entgegen <ref-law> in der bis 31. Dezember 2000 gültigen Fassung eine Zahlungsfrist von 30 Tagen einräumte. Damit geht im Übrigen auch die Argumentation des Beschwerdeführers mit Hinweis auf Nussbaumer, a.a.O., S. 1080 fehl, die Zahlungsausstände hätte weniger als einen Monat gedauert.
c) Der Beschwerdeführer war einziger Verwaltungsrat der Firma X._ AG. Daher traf ihn eine entsprechend hohe Verantwortung für die Ablieferung der im Zeitpunkt der Lohnzahlung entstandenen Sozialversicherungsbeiträge, die er nicht auf andere Personen abwälzen konnte. An die Sorgfaltspflicht des Beschwerdeführers sind umso höhere Anforderungen zu stellen, als es sich bei der Firma X._ AG um ein kleineres Unternehmen mit einfachen und überschaubaren Verhältnissen handelte. In solchen Fällen muss vom Verwaltungsrat in der Regel der Überblick über alle wesentlichen Belange der Gesellschaft verlangt werden, selbst wenn er die Befugnisse weitgehend an einen Geschäftsführer delegiert haben sollte (<ref-ruling> f.
Erw. 4a, 108 V 203 Erw. 3b; vgl. auch Nussbaumer, a.a.O., S. 1078).
Ebenso vermag den Beschwerdeführer das Argument nicht zu entlasten, vom Buchhalter der Firma X._ AG seien für die Beitragsausstände mit der Ausgleichskasse Ratenzahlungen vereinbart worden. Abgesehen davon, dass eine solche Vereinbarung durch nichts belegt ist, ändert ein Zahlungsaufschub mit Tilgungsplan ohnehin an der Widerrechtlichkeit der nicht ordnungsgemässen Bezahlung der Beiträge nichts; die Verschuldensfrage beurteilt sich primär nach den Umständen, die zum Zahlungsrückstand geführt haben. Bei der Beurteilung der Frage, ob die verantwortlichen Organe ihren Sorgfaltspflichten im Zusammenhang mit der Einhaltung der Beitragszahlungspflicht nachgekommen sind, ist eine Zahlungsvereinbarung jedoch mit zu berücksichtigen, soweit dem Beitragspflichtigen damit ein Abweichen von den ordentlichen Zahlungsterminen zugestanden wird (<ref-ruling> Erw. 3b). Davon kann indes vorliegend keine Rede sein, nachdem für die im Januar 1997 und 1998 fälligen Beiträge erst kurz vor Konkurs im Oktober 1998 um Ratenzahlung ersucht und überdies keine einzige Rate bezahlt wurde. Eine Verweigerung des rechtlichen Gehörs durch die Vorinstanz, weil diese C._ nicht als Zeugen einvernommen hatte, liegt somit nicht vor, da eine solche Einvernahme an der Verantwortlichkeit des Beschwerdeführers zur Zahlung der bis zu seinem Ausscheiden aus dem Verwaltungsrat durch die Lohnzahlungen ausgelösten Sozialversicherungsbeiträge nichts geändert hätte. Vielmehr war eine solche antizipierte Beweiswürdigung zulässig und verstösst nicht gegen die Verfassung (<ref-ruling> Erw. 4b; Urteile O. vom 9. Juni 2000, H 369/99, und A. vom 20. Juni 2001, H 90/00).
5.- Der Beschwerdeführer macht geltend, dass das Fehlverhalten der Beschwerdegegnerin, welche die Sozialversicherungsbeiträge zu spät geltend gemacht habe, zu einer Unterbrechung des adäquaten Kausalzusammenhangs zwischen seinem Fehlverhalten und dem Schadenseintritt geführt habe.
Eine solche Annahme ist jedoch unzutreffend.
Der Beschwerdegegnerin kann zwar vorgeworfen werden, dass sie trotz der angegebenen Lohnsumme in der Anmeldung der Gesellschaft vom 20. März 1996 zu Beginn keine Pauschalrechnungen erstellte, wobei hier bereits einzuräumen ist, dass zunächst über die zuständige Ausgleichskasse Unklarheiten bestanden haben. Dies ändert indes nichts daran, dass die Verpflichtung zur Beitragszahlung ex lege im Zeitpunkt der Lohnzahlung entsteht (Art. 14 und <ref-law>; <ref-ruling> Erw. 3a) und die Beiträge mit dem Ablauf der Zahlungsperiode fällig werden (<ref-law>). Überdies ist entgegen der Auffassung des Beschwerdeführers in <ref-law> festgelegt, dass die Arbeitgeber mit der Ausgleichskasse über die abgezogenen und die selbst geschuldeten Beiträge periodisch abzurechnen und die erforderlichen Angaben für die Führung der individuellen Konten der Arbeitnehmer zu machen haben. Indes wurden die Lohnbescheinigungen von der Gesellschaft erst auf Grund mehrmaliger Mahnung durch die Ausgleichskasse mit grosser Verzögerung eingereicht, und es sind keine Hinweise dafür ersichtlich, dass die Gesellschaft die Ausgleichskasse einmal betreffend die Rechnungsstellung kontaktiert hätte.
Gerade unter diesen Umständen hätte der Beschwerdeführer besonders dafür besorgt sein müssen, auf den ausbezahlten Löhnen rechtzeitig die notwendigen Rückstellungen zu bilden und zweckgebunden zu reservieren. Diesen Verpflichtungen kam die Gesellschaft indes nicht nach, sondern gab die den Arbeitnehmern abgezogenen Sozialversicherungsbeiträge und die selber geschuldeten Beiträge für andere Zwecke aus.
Für dieses Verhalten der Firma X._ AG zeichnet der Beschwerdeführer als einziges Verwaltungsratsmitglied verantwortlich. Die Vorinstanz hat trotz dieser klaren Versäumnisse der Firma X._ AG resp. ihrer Organe auf eine Reduktion der Haftung für die Beitragsjahre 1996 und 1997 von 50 % wegen Eigenverschuldens der Beschwerdegegnerin erkannt. Bei der Herabsetzung der Schadenersatzpflicht in sinngemässer Anwendung von Art. 4 VG und <ref-law> (vgl. <ref-ruling>) handelt es sich um eine Rechtsfrage, die einer Überprüfung durch das Eidgenössische Versicherungsgericht im vorliegenden Verfahren zugänglich ist.
In Anbetracht der angeführten Überlegungen muss die Haftungsreduktion von 50 % für die Beitragsjahre 1996 und 1997 als ausgewogen bewertet werden. Insbesondere für das Jahr 1997 ist eine solch erhebliche Haftungsreduktion sogar als eher grosszügig zu bezeichnen. So erkannte unlängst das Eidgenössische Versicherungsgericht im bereits zitierten Urteil A. vom 20. Juni 2001, H 90/00, auf eine Haftungsreduktion von 20 %.
Dem Eidgenössischen Versicherungsgericht ist es auch verwehrt, zu Ungunsten des Beschwerdeführers eine tiefere Herabsetzungsquote der Schadenersatzpflicht als 50 % für die Jahre 1996 und 1997 festzulegen. Der Schadenersatzprozess nach <ref-law> fällt nicht unter den Begriff der Abgabestreitigkeiten im Sinne von Art. 114 Abs. 1 OG, sodass das Gericht weder zu Gunsten noch zu Ungunsten der Parteien über deren Begehren hinausgehen darf (<ref-ruling> Erw. 2b sowie Urteil B. vom 8. Mai 2000, H 391/99, Erw. 2). Eine eigene Verwaltungsgerichtsbeschwerde der Beschwerdegegnerin liegt nicht vor. Der angefochtene Entscheid ist somit auch bezüglich des Masses der Herabsetzung der Schadenersatzpflicht für die Beitragsjahre 1996 und 1997 zu bestätigen. Für das Jahr 1998 ist sicherlich keine Herabsetzung angezeigt, da dort kein Fehlverhalten der Beschwerdegegnerin gegeben war.
6.- Nicht gefolgt werden kann dem Beschwerdeführer schliesslich, soweit er geltend macht, für den Schaden sei nicht nur er, sondern zumindest auch S._ als Direktor mit Einzelunterschrift haftbar zu machen. Es entspricht gerade der Solidarhaftung, namentlich auch im Bereich von <ref-law>, dass es im Belieben des Gläubigers, hier der Ausgleichskasse, steht, ob und gegen wie viele Solidarschuldner er vorgehen will (<ref-ruling> Erw. 5a, 114 V 214 oben, 109 V 89 Erw. 7). Selbstverständlich ist es dem Beschwerdeführer unbenommen, gegen allfällige Dritte, die nach seiner Auffassung den entstandenen Schaden mitverursacht haben, zivilrechtlich vorzugehen. Im vorliegenden Prozess ist dies aber nicht zu entscheiden (<ref-ruling>; vgl. Thomas Nussbaumer, Das Schadenersatzverfahren nach <ref-law> in René Schaffhauser/Ueli Kieser; Aktuelle Fragen aus dem Beitragsrecht der AHV, St. Gallen 1998, S. 120).
7.- Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Dem Prozessausgang entsprechend hat der Beschwerdeführer die Gerichtskosten zu tragen.

Demnach erkennt das Eidg. Versicherungsgericht:
I.Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
II.Die Gerichtskosten von total Fr. 5000.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
III. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 16. Mai 2002
Im Namen des
Eidgenössischen Versicherungsgerichts
Der Präsident Die Gerichts- der II. Kammer: schreiberin: