A.- M._, lic. oec. et iur. , dipl. Wirtschaftsprüfer und Mitglied der Treuhandkammer, war einziges einzelzeichnungsberechtigtes Mitglied des Verwaltungsrates der 1996 im Handelsregister eingetragenen Firma X._ AG. Am 23. September 1998 gab M._ gegenüber der Generalversammlung der Firma X._ AG seinen sofortigen Rücktritt aus dem Verwaltungsrat bekannt. Da die Firma X._ AG die Löschung im Handelsregister nicht selber vornahm, veranlasste M._ dies persönlich im November 1998. Ende November 1998 wurde die Löschung des Eintrages von M._ als einziges Verwaltungsratsmitglied im SHAB publiziert. Am 4. August 1998 fakturierte die Ausgleichskasse des Kantons Aargau (nachfolgend: Ausgleichskasse) Sozialversicherungsbeiträge für 1997 in der Höhe von Fr. 110'604. 85 und für 1996 am 31. August 1998 über Fr. 54'475. 25. Am 10. August 1998 wurden die Monatspauschale für Juli und August 1998 von Fr. 20'036. 55 in Rechnung gestellt (einschliesslich FAK-Beiträge von Fr. 1498.-). Am 9. November 1998 wurde über die Firma X._ AG der Konkurs eröffnet und am 5. Januar 1999 mangels Aktiven wieder eingestellt. Die Sozialversicherungsbeiträge für die Jahre 1996 und 1997 sowie für die beiden Monate Juli und August 1998 von Fr. 183'618. 65 (einschliesslich Verwaltungskostenbeiträge, Verzugszinsen, Mahngebühren und Betreibungskosten) blieben unbezahlt. Am 23. Dezember 1999 erliess die Ausgleichskasse gegenüber M._ eine Schadenersatzverfügung in der Höhe von Fr. 184'048. 25. M._ erhob dagegen am 25. Januar 2000 Einspruch. B.- Die Ausgleichskasse machte ihre Schadenersatzforderung gegenüber M._ über Fr. 184'048. 25 beim Versicherungsgericht des Kantons Aargau klageweise geltend, welches die Klage mit Entscheid vom 3. Juli 2001 im Umfange von Fr. 103'940. 85 teilweise guthiess. C.- Mit Verwaltungsgerichtsbeschwerde lässt M._ die Aufhebung des vorinstanzlichen Entscheides und die Abweisung der Klage der Ausgleichskasse beantragen. Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherung auf eine Vernehmlassung verzichtet.