Sachverhalt: A. Der 1948 geborene D._ ist selbstständig erwerbstätig. Mit Verfügung vom 5. Mai 2006 verpflichtete ihn die Ausgleichskasse des Kantons Aargau zur Bezahlung der persönlichen AHV/IV/EO-Beiträge für das Jahr 2003 in der Höhe von Fr. 41'077.20, einschliesslich Verwaltungskosten. Nach Anrechnung der geleisteten Akontobeiträge wurde ihm gleichentags ein Betrag von noch Fr. 14'198.- in Rechnung gestellt. Diesen Ausstand beglich D._ am 31. Mai 2006. Am 9. Juni 2006 erliess die Ausgleichskasse eine Verzugszinsverfügung über Fr. 1'005.70, entsprechend einem Zins zu 5 % auf dem Betrag von Fr. 14'198.- für 510 Tage. Auf Einsprache des Versicherten hin hielt die Ausgleichskasse mit Entscheid vom 27. Juni 2006 an der Verzugszinspflicht fest. B. Die hiegegen eingereichte Beschwerde, mit welcher der Versicherte die Aufhebung des Einspracheentscheides hatte beantragen lassen, wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 27. Februar 2007). C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der vorinstanzliche Entscheid und der Einspracheentscheid seien aufzuheben. Während die Ausgleichskasse und das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichten, lässt sich das Versicherungsgericht in ablehnendem Sinne zur Beschwerde vernehmen. D. Am 9. April 2008 hat das Bundesgericht eine publikumsöffentliche Beratung durchgeführt.