Sachverhalt: A. Am ... Juli 2002 wurde über die X._ AG der Konkurs eröffnet, welcher am ... Februar 2003 mangels Aktiven eingestellt wurde. Am 21. November 2003 erliess die Ausgleichskasse des Kantons Aargau gegen den ehemaligen Verwaltungsrat der X._ AG, D._ eine Verfügung auf Bezahlung von Schadenersatz in der Höhe von Fr. 51'204.90 für entgangene bundesrechtliche Sozialversicherungsbeiträge. Daran hielt sie mit Einspracheentscheid vom 4. Februar 2004 fest. Die von D._ hiegegen erhobene Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 31. August 2004 ab. In Gutheissung der daraufhin eingereichten Verwaltungsgerichtsbeschwerde hob das damalige Eidgenössische Versicherungsgericht mit Urteil vom 14. März 2005 den vorinstanzlichen Entscheid auf und wies die Sache zur Durchführung einer öffentlichen und mündlichen Verhandlung und zu neuem Entscheid an das Versicherungsgericht des Kantons Aargau zurück. B. Das Versicherungsgericht des Kantons Aargau führte am 19. April 2005 eine öffentliche und mündliche Verhandlung durch. In der Folge zog es zwei Berichte des Konkursamtes Y._ vom 23. Mai 2005 und der Ausgleichskasse des Kantons Aargau vom 7. Juni 2005 bei. Zu diesen beiden Berichten nahm D._ mit Eingabe vom 20. September 2005 Stellung, welche die Vorinstanz am 26. September 2005 der Ausgleichskasse zur Kenntnis- und allfälligen Stellungnahme zukommen liess. Am 28. Oktober 2010 ersuchte das Versicherungsgericht den Beschwerdeführer um Einreichung eines Amtsberichts für den Nachweis der prozessualen Bedürftigkeit. Mit Schreiben vom 9. November 2010 liess D._ durch seinen Rechtsvertreter mitteilen, heute seien die Voraussetzungen für die Gewährung der unentgeltlichen Prozessführung nicht mehr gegeben. Ferner warf er die Frage der Verjährung des Schadenersatzanspruches der Ausgleichskasse auf. Mit Entscheid vom 16. November 2010 wies das Versicherungsgericht des Kantons Aargau die Beschwerde wiederum ab. C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Antrag, in Aufhebung des vorinstanzlichen Entscheides sei festzustellen, "dass die Verfügung der Beschwerdegegnerin vom 21. November 2003 verjährt ist". Eventuell sei die Beschwerde gegen die Verwaltungsverfügung vom 21. November 2003 vollumfänglich zu schützen. Subeventuell sei die Angelegenheit zur Neubeurteilung an die Vorinstanz zurückzuweisen. Die Ausgleichskasse schliesst auf Abweisung der Beschwerde. Das kantonale Gericht und das Bundesamt für Sozialversicherungen verzichten auf eine Vernehmlassung.