Sachverhalt:
Sachverhalt:
A. Am 12. Juli 2002 wurde über die X._ AG der Konkurs eröffnet, welcher am 11. Februar 2003 mangels Aktiven eingestellt wurde. Am 21. November 2003 erliess die Ausgleichskasse des Kantons Aargau gegen den ehemaligen Verwaltungsrat der X._ AG, D._, eine Verfügung auf Bezahlung von Schadenersatz in der Höhe von Fr. 51 204.90 für entgangene bundesrechtliche Sozialversicherungsbeiträge. Die hiegegen erhobene Einsprache wies sie mit Entscheid vom 4. Februar 2004 ab.
A. Am 12. Juli 2002 wurde über die X._ AG der Konkurs eröffnet, welcher am 11. Februar 2003 mangels Aktiven eingestellt wurde. Am 21. November 2003 erliess die Ausgleichskasse des Kantons Aargau gegen den ehemaligen Verwaltungsrat der X._ AG, D._, eine Verfügung auf Bezahlung von Schadenersatz in der Höhe von Fr. 51 204.90 für entgangene bundesrechtliche Sozialversicherungsbeiträge. Die hiegegen erhobene Einsprache wies sie mit Entscheid vom 4. Februar 2004 ab.
B. D._ führte hiegegen Beschwerde und beantragte in prozessualer Hinsicht die Durchführung einer mündlichen Verhandlung. Mit Entscheid vom 31. August 2004 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ohne Durchführung einer Verhandlung ab.
B. D._ führte hiegegen Beschwerde und beantragte in prozessualer Hinsicht die Durchführung einer mündlichen Verhandlung. Mit Entscheid vom 31. August 2004 wies das Versicherungsgericht des Kantons Aargau die Beschwerde ohne Durchführung einer Verhandlung ab.
C. D._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, in Aufhebung des angefochtenen Entscheides sei die Sache an die Vorinstanz zur Neubeurteilung zurückzuweisen.
Das kantonale Gericht, die Ausgleichskasse des Kantons Aargau und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung.

Das Eidg. Versicherungsgericht zieht in Erwägung:
Das Eidg. Versicherungsgericht zieht in Erwägung:
1. Der Beschwerdeführer rügt in der Verwaltungsgerichtsbeschwerde, dass das kantonale Gericht dem Begehren um Durchführung einer öffentlichen Verhandlung nicht stattgegeben hat. Dieser prozessuale Einwand ist vorab zu prüfen.
1. Der Beschwerdeführer rügt in der Verwaltungsgerichtsbeschwerde, dass das kantonale Gericht dem Begehren um Durchführung einer öffentlichen Verhandlung nicht stattgegeben hat. Dieser prozessuale Einwand ist vorab zu prüfen.
2. 2.1 Gemäss Art. 6 Ziff. 1 EMRK hat jede Person das Recht darauf, dass über Streitigkeiten in Bezug auf ihre zivilrechtlichen Ansprüche und Verpflichtungen oder über eine gegen sie erhobene strafrechtliche Anklage von einem unabhängigen und unparteiischen, auf Gesetz beruhenden Gericht in einem fairen Verfahren öffentlich und innerhalb angemessener Frist verhandelt wird.
Die Öffentlichkeit der Gerichtsverhandlung stellt ein fundamentales Prinzip dar, das nicht nur für den Einzelnen wichtig ist, sondern ebenso als Voraussetzung für das Vertrauen in das Funktionieren der Justiz erscheint. Der Grundsatz der Öffentlichkeit bezieht sich sowohl auf die Parteiöffentlichkeit als auch auf die Publikums- und Presseöffentlichkeit. Er umfasst u.a. den Anspruch des Einzelnen, seine Argumente dem Gericht mündlich in einer öffentlichen Sitzung vortragen zu können. Dagegen gilt das Öffentlichkeitsprinzip nicht für die Beratung des Gerichts; diese kann unter Ausschluss der Öffentlichkeit geführt werden. Was die Verkündung des Urteils betrifft, so ist dem Öffentlichkeitsanspruch Genüge getan, wenn das Urteil in der Kanzlei des Gerichts von der interessierten Öffentlichkeit eingesehen und im Bedarfsfall als Kopie verlangt werden kann. Eine mündliche Eröffnung ist nicht erforderlich (<ref-ruling> Erw. 2c; <ref-ruling> Erw. 5d; <ref-ruling> f. Erw. 5 mit Hinweisen).
2.2 Für den Prozess vor dem kantonalen Versicherungsgericht bestimmt <ref-law>, dass das Verfahren in der Regel öffentlich ist. Es wird damit der von Art. 6 Ziff. 1 EMRK geforderten Öffentlichkeit des Verfahrens Rechnung getragen (Ueli Kieser, ATSG-Kommentar: Kommentar zum Bundesgesetz über den Allgemeinen Teil des Sozialversicherungsrechts vom 6. Oktober 2000, Zürich 2003, N 26 zu Art. 61), welche primär im erstinstanzlichen Rechtsmittelverfahren zu gewährleisten ist (<ref-ruling> Erw. 3; RKUV 2004 Nr. U 497 S. 155 Erw. 1.2). Nach der Rechtsprechung setzt die Durchführung einer öffentlichen Verhandlung im Sozialversicherungsprozess grundsätzlich einen Parteiantrag voraus (<ref-ruling> Erw. 2, 122 V 55 Erw. 3a; RKUV 2004 Nr. U 497 S. 155 Erw. 1.2; Urteil K. vom 8. April 2004, I 573/03, Erw. 3.7.1 mit Hinweisen, auszugsweise publiziert in EuGRZ 2004 S. 724 und SZS 2004 S. 421 f.). Fehlt es an einem Antrag, wird ein Verzicht auf eine öffentliche Verhandlung angenommen, und es lässt sich in der Regel gegen ein ausschliesslich schriftliches Verfahren nichts einwenden, es sei denn, wesentliche öffentliche Interessen würden eine mündliche Verhandlung gebieten (<ref-ruling> Erw. 3a; erwähntes Urteil I 573/03, Erw. 3.4 und 3.7.1 je mit Hinweisen). Der Antrag auf mündliche Verhandlung im Sinne von Art. 6 Ziff. 1 EMRK muss klar und unmissverständlich vorliegen (<ref-ruling> Erw. 2, 122 V 55 Erw. 3a; RKUV 2004 Nr. U 497 S. 155 Erw. 1.2; erwähntes Urteil I 573/03, Erw. 3.7.1). Verlangt eine Partei beispielsweise lediglich eine persönliche Anhörung oder Befragung, ein Parteiverhör, eine Zeugeneinvernahme oder einen Augenschein, liegt bloss ein Beweisantrag vor, aufgrund dessen noch nicht auf den Wunsch auf eine konventionskonforme Verhandlung mit Publikums- und Presseanwesenheit zu schliessen ist (<ref-ruling> Erw. 2, 122 V 55 Erw. 3a).
2.3 Die EMRK sieht in Satz 2 von Art. 6 Ziff. 1 gewisse, hier nicht näher interessierende Ausnahmen vom Grundsatz der Öffentlichkeit des Verfahrens vor (vgl. hiezu <ref-ruling> Erw. 2c in fine mit Hinweisen). Darüber hinaus kann auch im erstinstanzlichen Gerichtsverfahren (auf Besonderheiten des zweitinstanzlichen Gerichtsverfahrens braucht nicht eingegangen zu werden) selbst dann, wenn die berechtigte Person nicht auf eine öffentliche Verhandlung verzichtet hat - insbesondere wenn sie einen ausdrücklichen Antrag auf Durchführung einer solchen gestellt hat -, bei Vorliegen besonderer Umstände von der Durchführung einer mündlichen Verhandlung abgesehen werden (erwähntes Urteil I 573/03, Erw. 3.4 mit Hinweisen).
2.4 Nach der Rechtsprechung fällt der Sozialversicherungsprozess sowohl bei Leistungs- als auch bei Abgabestreitigkeiten und Schadenersatzverfahren nach <ref-law> unter Art. 6 Ziff. 1 EMRK (<ref-ruling> Erw. 2a mit Hinweisen). Der Beschwerdeführer hatte somit im vorinstanzlichen Verfahren gestützt auf <ref-law> und Art. 6 Ziff. 1 EMRK grundsätzlich Anspruch auf eine öffentliche und mündliche Verhandlung. Diese hatte er in der vorinstanzlichen Beschwerdeschrift ausdrücklich beantragt. Liegt ein Antrag vor, ist eine öffentliche und mündliche Verhandlung grundsätzlich anzuordnen. Davon darf nur ausnahmsweise abgesehen werden (<ref-ruling> Erw. 3b mit Hinweisen). Zu prüfen ist im Folgenden, ob die Vorinstanz zu Recht auf die Durchführung einer öffentlichen und mündlichen Verhandlung verzichtet hat.
2.4 Nach der Rechtsprechung fällt der Sozialversicherungsprozess sowohl bei Leistungs- als auch bei Abgabestreitigkeiten und Schadenersatzverfahren nach <ref-law> unter Art. 6 Ziff. 1 EMRK (<ref-ruling> Erw. 2a mit Hinweisen). Der Beschwerdeführer hatte somit im vorinstanzlichen Verfahren gestützt auf <ref-law> und Art. 6 Ziff. 1 EMRK grundsätzlich Anspruch auf eine öffentliche und mündliche Verhandlung. Diese hatte er in der vorinstanzlichen Beschwerdeschrift ausdrücklich beantragt. Liegt ein Antrag vor, ist eine öffentliche und mündliche Verhandlung grundsätzlich anzuordnen. Davon darf nur ausnahmsweise abgesehen werden (<ref-ruling> Erw. 3b mit Hinweisen). Zu prüfen ist im Folgenden, ob die Vorinstanz zu Recht auf die Durchführung einer öffentlichen und mündlichen Verhandlung verzichtet hat.
3. 3.1 Nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts (zusammengefasst in den Urteilen K. vom 8. April 2004 [I 573/03], und J. vom 17. September 2004 [U 210/03]) stellen folgende Situationen besondere Umstände dar, unter denen im erstinstanzlichen Sozialversicherungsprozess trotz Nichterfüllung der im zweiten Satz von Art. 6 Ziff. 1 EMRK aufgezählten Ausnahmetatbestände und trotz Vorliegens eines Gesuchs um Durchführung einer öffentlichen Verhandlung von der Anordnung einer solchen abgesehen werden kann: Der Antrag wurde nicht frühzeitig genug gestellt; der Antrag erscheint als schikanös oder lässt auf eine Verzögerungstaktik schliessen und läuft damit dem Grundsatz der Einfachheit und Raschheit des Verfahrens zuwider oder ist gar rechtsmissbräuchlich; es lässt sich auch ohne öffentliche Verhandlung mit hinreichender Zuverlässigkeit erkennen, dass eine Beschwerde offensichtlich unbegründet oder unzulässig ist; es steht eine Materie hochtechnischen Charakters zur Diskussion (dazu Urteil K. vom 26. Juli 2004, U 311/03); das Gericht gelangt auch ohne öffentliche Verhandlung schon allein aufgrund der Akten zum Schluss, dass dem materiellen Rechtsbegehren der die Verhandlung beantragenden Partei zu entsprechen ist (<ref-ruling> - 58 Erw. 3b; SVR 1996 KV Nr. 85 S. 271 Erw. 4c). Auch nach der Rechtsprechung des Eidgenössischen Versicherungsgerichts fällt zu Gunsten der Durchführung einer mündlichen Verhandlung ins Gewicht, wenn eine solche geeignet ist, zur Klärung allfälliger noch streitiger Punkte beizutragen (vgl. <ref-ruling> Erw. 4c und Urteil H. vom 13. Februar 2001, I 264/99, Erw. 2b). Das Eidgenössische Versicherungsgericht hat im erwähnten Urteil I 573/03, Erw. 3.10, offen gelassen, ob seine Praxis in allen Teilen mit der Rechtsprechung des EGMR vereinbar ist.
3.2 Das kantonale Gericht begründete den Verzicht auf Durchführung einer öffentlichen und mündlichen Verhandlung damit, der Beschwerdeführer habe im Einspracheverfahren vor der Ausgleichskasse in aller Ausführlichkeit dargelegt, warum ihn seiner Meinung nach kein Verschulden und damit keine persönliche Haftbarkeit gemäss <ref-law> treffe. Seine Darlegungen seien allein auf Grund der Aktenlage auch für das Versicherungsgericht genügend nachvollziehbar und vermittelten diesem alle notwendigen Informationen, die es zur Urteilsfällung benötige. Es sei nicht zu erwarten, dass der Beschwerdeführer anlässlich einer mündlichen Verhandlung zusätzliche Sachverhaltspunkte vorbringen könnte, welche die sich aus den Akten ergebende Sachlage in einem anderen Licht erscheinen lassen würde. Die wesentlichen und für das vorliegende Verfahren relevanten Tatfragen ergäben sich ohne weiteres aus den vorliegenden Akten. Selbst bei Durchführung einer mündlichen Verhandlung seien keine relevanten Informationen mehr zu erwarten. Insbesondere sei darauf hinzuweisen, dass es dem Beschwerdeführer offenbar nur darum gehe, seine "Exkulpationsgründe" noch einmal vor Gericht darzulegen. Zudem ergebe sich die Unbegründetheit seiner Beschwerde schon allein und zweifelsfrei aus den eingereichten Akten und seinen Ausführungen. Wenn der Beschwerdeführer in der Beschwerde in Aussicht stelle, weitere Ausführungen und Beweise für sein fehlendes Verschulden an der mündlichen Verhandlung vorzubringen, so könne auf die entsprechenden Beweisanträge und auf weitere Beweisabnahmen im Sinne einer antizipierten Beweiswürdigung verzichtet werden (Hinweis auf <ref-ruling> Erw. 1b, 122 V 162 Erw. 1d; SVR 2003 AHV Nr. 4 S. 11 Erw. 4.2.1 mit Hinweisen).
3.3 Wie bereits erwähnt, hat der Beschwerdeführer gestützt auf <ref-law> und Art. 6 Ziff. 1 EMRK grundsätzlich Anspruch auf die Durchführung einer öffentlichen und mündlichen Verhandlung. Namentlich stellt nunmehr <ref-law> die Mündlichkeit im Sozialversicherungsprozess als Regelfall dar, auch wenn bereits im vorgeschalteten Administrativ- und Einspracheverfahren die Partei umfassend Gelegenheit hatte, sich zur Sache zu äussern. Mit diesem Argument kann die Durchführung einer mündlichen Verhandlung entgegen der Auffassung der Vorinstanz nicht abgelehnt werden. Auch der Einwand, es sei nicht zu erwarten, dass der Beschwerdeführer anlässlich einer mündlichen Verhandlung zusätzliche Sachverhaltspunkte vorbringen könnte, welche die sich aus den Akten ergebende Sachlage in einem anderen Licht erscheinen lasse, ist unbehelflich. Zum einen ist es angesichts der umfassenden Kognition des erstinstanzlichen Sozialversicherungsgerichts ohne weiteres möglich, dass ein Beschwerdeführer zusätzliche Sachverhaltselemente oder rechtliche Gesichtspunkte im mündlichen Verfahren einbringt. Zum andern bestimmt <ref-law> trotz vorangehendem Einspracheverfahren und einer schriftlichen Beschwerdeschrift als Regelfall die Durchführung einer mündlichen Verhandlung. Schliesslich ist auch das Argument, die Unbegründetheit seiner Beschwerde ergebe sich schon allein und zweifelsfrei aus den eingereichten Akten und seinen Ausführungen, nicht stichhaltig. Das kantonale Gericht bezeichnet denn auch die vorinstanzliche Beschwerde nicht als offensichtlich unbegründet. Es kann daher auch im vorliegenden Verfahren offen bleiben, ob die Rechtsprechung des Eidgenössischen Versicherungsgerichts in allen Teilen - insbesondere in Bezug auf das Kriterium der offensichtlichen Unbegründetheit - mit jener des Europäischen Gerichtshofes für Menschenrechte vereinbar ist (vgl. erwähntes Urteil I 573/03).
3.4 Nach dem Gesagten bestand somit kein ausreichender Grund, um ausnahmsweise von einer öffentlichen und mündlichen Verhandlung abzusehen. Der angefochtene Entscheid ist daher aufzuheben und die Sache zur Durchführung einer öffentlichen und mündlichen Verhandlung an die Vorinstanz zurückzuweisen.
4. Ausgangsgemäss hat die Ausgleichskasse als unterliegende Partei die Gerichtskosten zu tragen (Art. 156 OG). Das Gesuch um unentgeltliche Rechtspflege nach Art. 152 Abs. 1 OG ist damit gegenstandslos.

Demnach erkennt das Eidg. Versicherungsgericht:
Demnach erkennt das Eidg. Versicherungsgericht:
1. In Gutheissung der Verwaltungsgerichtsbeschwerde wird der vorinstanzliche Entscheid vom 31. August 2004 aufgehoben und die Sache zur Durchführung einer öffentlichen und mündlichen Verhandlung und zu neuem Entscheid an das Versicherungsgericht des Kantons Aargau zurückgewiesen.
1. In Gutheissung der Verwaltungsgerichtsbeschwerde wird der vorinstanzliche Entscheid vom 31. August 2004 aufgehoben und die Sache zur Durchführung einer öffentlichen und mündlichen Verhandlung und zu neuem Entscheid an das Versicherungsgericht des Kantons Aargau zurückgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden der Ausgleichskasse des Kantons Aargau auferlegt.
2. Die Gerichtskosten von Fr. 500.- werden der Ausgleichskasse des Kantons Aargau auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherung zugestellt.
Luzern, 14. März 2005
Im Namen des Eidgenössischen Versicherungsgerichts
Der Präsident der IV. Kammer: Der Gerichtsschreiber: