Sachverhalt:
A. Am ... Juli 2002 wurde über die X._ AG der Konkurs eröffnet, welcher am ... Februar 2003 mangels Aktiven eingestellt wurde. Am 21. November 2003 erliess die Ausgleichskasse des Kantons Aargau gegen den ehemaligen Verwaltungsrat der X._ AG, D._ eine Verfügung auf Bezahlung von Schadenersatz in der Höhe von Fr. 51'204.90 für entgangene bundesrechtliche Sozialversicherungsbeiträge. Daran hielt sie mit Einspracheentscheid vom 4. Februar 2004 fest.
Die von D._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 31. August 2004 ab. In Gutheissung der daraufhin eingereichten Verwaltungsgerichtsbeschwerde hob das damalige Eidgenössische Versicherungsgericht mit Urteil vom 14. März 2005 den vorinstanzlichen Entscheid auf und wies die Sache zur Durchführung einer öffentlichen und mündlichen Verhandlung und zu neuem Entscheid an das Versicherungsgericht des Kantons Aargau zurück.
B. Das Versicherungsgericht des Kantons Aargau führte am 19. April 2005 eine öffentliche und mündliche Verhandlung durch. In der Folge zog es zwei Berichte des Konkursamtes Y._ vom 23. Mai 2005 und der Ausgleichskasse des Kantons Aargau vom 7. Juni 2005 bei. Zu diesen beiden Berichten nahm D._ mit Eingabe vom 20. September 2005 Stellung, welche die Vorinstanz am 26. September 2005 der Ausgleichskasse zur Kenntnis- und allfälligen Stellungnahme zukommen liess.
Am 28. Oktober 2010 ersuchte das Versicherungsgericht den Beschwerdeführer um Einreichung eines Amtsberichts für den Nachweis der prozessualen Bedürftigkeit. Mit Schreiben vom 9. November 2010 liess D._ durch seinen Rechtsvertreter mitteilen, heute seien die Voraussetzungen für die Gewährung der unentgeltlichen Prozessführung nicht mehr gegeben. Ferner warf er die Frage der Verjährung des Schadenersatzanspruches der Ausgleichskasse auf.
Mit Entscheid vom 16. November 2010 wies das Versicherungsgericht des Kantons Aargau die Beschwerde wiederum ab.
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei festzustellen, "dass die Verfügung der Beschwerdegegnerin vom 21. November 2003 verjährt ist". Eventuell sei die Beschwerde gegen die Verwaltungsverfügung vom 21. November 2003 vollumfänglich zu schützen. Subeventuell sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen.
Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.

Erwägungen:
1. Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist gegen Entscheide betreffend die Haftung des Arbeitgebers nach Art. 52 Abs. 1 AHVG nur zulässig, wenn der Streitwert mindestens Fr. 30'000.- beträgt (Art. 85 Abs. 1 lit. a BGG) oder wenn sich eine Rechtsfrage von grundsätzlicher Bedeutung stellt (Art. 85 Abs. 1 lit. a und Abs. 2 BGG; Urteil 9C_398/2010 vom 8. Februar 2011, vorgesehen zur Publikation in BGE 137). Da der Streitwert Fr. 51'204.90 beträgt, ist auf die Beschwerde einzutreten.
2. Der Beschwerdeführer macht in erster Linie geltend, die Schadenersatzforderung sei im Verlaufe des vorinstanzlichen Verfahrens verjährt.
2.1 Gemäss dem seit 1. Januar 2003 in Kraft stehenden und hier anwendbaren Art. 52 Abs. 3 AHVG verjährt der Schadenersatzanspruch zwei Jahre, nachdem die zuständige Ausgleichskasse vom Schaden Kenntnis erhalten hat, jedenfalls fünf Jahre nach Eintritt des Schadens (Satz 1). Diese Fristen können unterbrochen werden (Satz 2).
Bei den Fristen nach Art. 52 Abs. 3 AHVG handelt es sich um Verjährungsfristen. Der Schadenersatzanspruch kann somit auch während des Einspracheverfahrens oder verwaltungsgerichtlichen Beschwerdeverfahrens verjähren (<ref-ruling> E. 4.2.2 S. 78).
Wird die Verjährung durch eine Klage oder Einrede unterbrochen, so beginnt im Verlaufe des Rechtsstreites mit jeder gerichtlichen Handlung der Parteien und mit jeder Verfügung oder Entscheidung des Richters die Verjährung von neuem (Art. 138 Abs. 1 OR in der bis Ende Dezember 2010 gültig gewesenen und hier analog anwendbaren Fassung). Dabei entspricht die neue Verjährungsfrist der Dauer der unterbrochenen Frist (Urteil 9C_903/2008 vom 21. Januar 2009 E. 4).
2.2 Im Anschluss an die Rückweisung der Sache mit Urteil des Eidgenössischen Versicherungsgerichts vom 14. März 2005 sind gerichtliche Handlungen der Parteien und des Gerichts bis zum 26. September 2005 ersichtlich. An diesem Tag verfügte der Instruktionsrichter die Zustellung der Stellungnahme des Beschwerdeführers vom 20. September 2005 samt Beilagen an die Ausgleichskasse zur Kenntnis- und allfälligen Stellungnahme. Die nächste Verfahrenshandlung des Gerichts oder der Parteien ist erst wieder mit dem Schreiben vom 28. Oktober 2010 erstellt, mit welchem die Vorinstanz vom Beschwerdeführer die Zustellung eines aktuellen Amtsberichts für die Beurteilung der Bedürftigkeit einverlangte. Während mehr als fünf Jahren ist somit keine verjährungsunterbrechende Handlung aus den Akten ersichtlich. Zu Recht beruft sich daher der Beschwerdeführer auf die Verjährung, worauf er die Vorinstanz bereits im Schreiben vom 9. November 2010 hinwies. Dies führt zur Gutheissung der Beschwerde und zur Aufhebung des Einspracheentscheides infolge der Verjährung der Schadenersatzforderung.
3. Bei diesem Ausgang des Verfahrens wird die Ausgleichskasse des Kantons Aargau kosten- (Art. 66 Abs. 1 BGG) und entschädigungspflichtig (Art. 68 Abs. 2 BGG).

Demnach erkennt das Bundesgericht:
1. In Gutheissung der Beschwerde werden der Entscheid des Versicherungsgerichts des Kantons Aargau vom 16. November 2010 und der Einspracheentscheid der Ausgleichskasse des Kantons Aargau vom 4. Februar 2004 aufgehoben.
2. Die Gerichtskosten von Fr. 4'000.- werden der Ausgleichskasse des Kantons Aargau auferlegt.
3. Die Ausgleichskasse des Kantons Aargau hat den Beschwerdeführer für das bundesgerichtliche Verfahren mit Fr. 2'800.- zu entschädigen.
4. Die Sache wird zur Neuverlegung der Parteientschädigung des vorangegangenen Verfahrens an das Versicherungsgericht des Kantons Aargau zurückgewiesen.
5. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 1. April 2011
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Nussbaumer