Sachverhalt:
A. Der 1948 geborene D._ ist selbstständig erwerbstätig. Mit Verfügung vom 5. Mai 2006 verpflichtete ihn die Ausgleichskasse des Kantons Aargau zur Bezahlung der persönlichen AHV/IV/EO-Beiträge für das Jahr 2003 in der Höhe von Fr. 41'077.20, einschliesslich Verwaltungskosten. Nach Anrechnung der geleisteten Akontobeiträge wurde ihm gleichentags ein Betrag von noch Fr. 14'198.- in Rechnung gestellt. Diesen Ausstand beglich D._ am 31. Mai 2006. Am 9. Juni 2006 erliess die Ausgleichskasse eine Verzugszinsverfügung über Fr. 1'005.70, entsprechend einem Zins zu 5 % auf dem Betrag von Fr. 14'198.- für 510 Tage. Auf Einsprache des Versicherten hin hielt die Ausgleichskasse mit Entscheid vom 27. Juni 2006 an der Verzugszinspflicht fest.
B. Die hiegegen eingereichte Beschwerde, mit welcher der Versicherte die Aufhebung des Einspracheentscheides hatte beantragen lassen, wies das Versicherungsgericht des Kantons Aargau ab (Entscheid vom 27. Februar 2007).
C. D._ lässt Beschwerde in öffentlich-rechtlichen Angelegenheiten führen mit dem Rechtsbegehren, der vorinstanzliche Entscheid und der Einspracheentscheid seien aufzuheben.
Während die Ausgleichskasse und das Bundesamt für Sozialversicherungen auf eine Stellungnahme verzichten, lässt sich das Versicherungsgericht in ablehnendem Sinne zur Beschwerde vernehmen.
D. Am 9. April 2008 hat das Bundesgericht eine publikumsöffentliche Beratung durchgeführt.

Erwägungen:
1. Nach <ref-law> sind für fällige Beitragsforderungen und Beitragsrückerstattungsansprüche Verzugs- und Vergütungszinsen zu leisten. Verzugszinsen zu entrichten haben nach <ref-law> u.a. Selbstständigerwerbende auf auszugleichenden persönlichen Beiträgen, falls die Akontobeiträge mindestens 25 Prozent unter den tatsächlich geschuldeten Beiträgen liegen und nicht bis zum 1. Januar nach Ablauf des dem Beitragsjahr folgenden Kalenderjahres entrichtet werden, ab dem 1. Januar nach Ablauf des dem Beitragsjahr folgenden Kalenderjahres. Gemäss <ref-law> endet der Zinsenlauf mit der vollständigen Bezahlung der Beiträge, mit Einreichung der ordnungsgemässen Abrechnung oder bei deren Fehlen mit der Rechnungsstellung. Bei Beitragsnachforderungen endet der Zinsenlauf mit der Rechnungsstellung, sofern die Beiträge innert Frist bezahlt werden. Laut <ref-law> beträgt der Verzugszinssatz 5 Prozent im Jahr, wobei die Zinsen tageweise berechnet und ganze Monate zu 30 Tagen gerechnet werden (<ref-law>). Nach der Rechtsprechung (Urteil des Eidgenössischen Versicherungsgerichts H 20/04 vom 19. August 2004 = AHI 2004 S. 257) sind die zitierten Ausführungsbestimmungen der AHVV nach Inkrafttreten des ATSG weiterhin anwendbar.
2. Der am 9. Juni 2006 verfügte Verzugszins von Fr. 1'005.70 wird in masslicher Hinsicht zu Recht nicht beanstandet. Der Beschwerdeführer macht vielmehr geltend, nach <ref-law> setze die Verzugszinsforderung im Gegensatz zur altrechtlichen Regelung auf Verordnungsstufe voraus, dass die Beitragsforderung der Ausgleichskasse fällig ist. Im Übrigen sei der angefochtene Entscheid stossend. Der Ausgleichskasse würde aufgrund des Versäumnisses des Steueramtes nicht bloss ein Schadensausgleich, sondern ein massiv überhöhter Vorteil zufliessen. Auch die öffentliche Hand sei in der fraglichen Zeit nicht in der Lage gewesen, auf vergleichbaren Beträgen Renditen von über einem Prozent zu erzielen. Die Forderung eines Verzugszinses von 5 % sei daher überrissen.
3. 3.1 Der Auffassung des Beschwerdeführers kann nicht beigepflichtet werden. Wie das kantonale Gericht zutreffend festhält, bestand schon vor Inkrafttreten des ATSG am 1. Januar 2003 in <ref-law> eine formell-gesetzliche Grundlage für die Erhebung von Verzugszinsen. <ref-law> verdeutlicht zwar, dass Verzugszinsen nur für fällige Beitragsforderungen zu leisten sind, was schon unter altem Recht selbstverständlich war. Zum Eintritt der Fälligkeit äussert sich das ATSG jedoch nirgends. Weil die Ausführungsbestimmungen der AHVV auch nach dem 1. Januar 2003 in Kraft bleiben (Urteil des Eidgenössischen Versicherungsgerichts H 20/04 vom 19. August 2004, publ. in: AHI 2004 S. 257), ist für die Fälligkeit weiterhin <ref-law> massgebend. Im vorliegenden Fall anwendbar ist, wie im angefochtenen Entscheid richtig dargelegt, <ref-law>. Danach haben u.a. Selbstständigerwerbende auf auszugleichenden Beiträgen, falls die Akontobeiträge mindestens 25 % unter den tatsächlich geschuldeten Beiträgen liegen und nicht bis zum 1. Januar nach Ablauf des dem Beitragsjahr folgenden Kalenderjahres entrichtet werden, ab dem 1. Januar nach Ablauf des dem Beitragsjahr folgenden Kalenderjahres Verzugszinsen zu entrichten. Die Ausgleichskasse hat gestützt auf diese Verordnungsbestimmung den Verzugszins für die Zeit vom 1. Januar 2005 bis 31. Mai 2006 gefordert, was die Vorinstanz zu Recht bestätigt hat. Inwiefern diese die Entstehung einer Forderung mit ihrer Fälligkeit verwechselt haben soll, wie in der Beschwerde geltend gemacht wird, ist nicht ersichtlich, nachdem der Beginn der Verzugszinspflicht auf nicht bezahlten Beiträgen in <ref-law> umfassend geregelt ist.
3.2 Im Übrigen würde auch eine von der bisherigen Rechtsprechung losgelöste, an den anerkannten Kriterien (Wortlaut der Bestimmung, Entstehungsgeschichte, Normzweck innerhalb des Normengefüges: <ref-ruling> E. 3.2 S. 396, 131 II 697 E. 4.1 S. 703, 131 V 90 E. 4.1 S. 93 und 286 E. 5.2 S. 292) orientierte Auslegung von <ref-law> kein abweichendes Resultat zeitigen. Der Gesetzeswortlaut ("Für fällige Beitragsforderungen sind Verzugszinsen zu leisten"; "les créances des cotisations échues sont soumises à la perception d'intérêts moratoires"; "i crediti di contributi dovuti sottostanno a interessi di mora") steht der Anwendbarkeit der Ausführungsbestimmungen der AHVV über den 1. Januar 2003 hinaus nicht entgegen. Im Gegenteil: Die italienische Version, welche das Adjektiv "fällig", das mit <ref-law> in der deutschen und der französischen Fassung Eingang ins AHV-Verzugszinsrecht gefunden hat, nicht verwendet, unterstützt die Auffassung, die im erwähnten Urteil des Eidgenössischen Versicherungsgerichts H 20/04 vom 19. August 2004 zum Ausdruck kommt. In den für die Auslegung namentlich bei neuen Gesetzen bedeutungsvollen Materialien (<ref-ruling> E. 5.2 S. 292) finden sich sodann zu <ref-law> keine Anhaltspunkte, die für die Ansicht des Beschwerdeführers und damit gegen die weitere Anwendbarkeit der Verzugszinsordnung des <ref-law> und des im Zusammenhang damit stehenden Art. 42 Abs. 2 und 3 AHVV sprechen würden.
3.2 Im Übrigen würde auch eine von der bisherigen Rechtsprechung losgelöste, an den anerkannten Kriterien (Wortlaut der Bestimmung, Entstehungsgeschichte, Normzweck innerhalb des Normengefüges: <ref-ruling> E. 3.2 S. 396, 131 II 697 E. 4.1 S. 703, 131 V 90 E. 4.1 S. 93 und 286 E. 5.2 S. 292) orientierte Auslegung von <ref-law> kein abweichendes Resultat zeitigen. Der Gesetzeswortlaut ("Für fällige Beitragsforderungen sind Verzugszinsen zu leisten"; "les créances des cotisations échues sont soumises à la perception d'intérêts moratoires"; "i crediti di contributi dovuti sottostanno a interessi di mora") steht der Anwendbarkeit der Ausführungsbestimmungen der AHVV über den 1. Januar 2003 hinaus nicht entgegen. Im Gegenteil: Die italienische Version, welche das Adjektiv "fällig", das mit <ref-law> in der deutschen und der französischen Fassung Eingang ins AHV-Verzugszinsrecht gefunden hat, nicht verwendet, unterstützt die Auffassung, die im erwähnten Urteil des Eidgenössischen Versicherungsgerichts H 20/04 vom 19. August 2004 zum Ausdruck kommt. In den für die Auslegung namentlich bei neuen Gesetzen bedeutungsvollen Materialien (<ref-ruling> E. 5.2 S. 292) finden sich sodann zu <ref-law> keine Anhaltspunkte, die für die Ansicht des Beschwerdeführers und damit gegen die weitere Anwendbarkeit der Verzugszinsordnung des <ref-law> und des im Zusammenhang damit stehenden Art. 42 Abs. 2 und 3 AHVV sprechen würden.
3.3 3.3.1 Mit der Vorinstanz ist des Weiteren daran zu erinnern, dass dem Verzugszins die Funktion eines Vorteilsausgleichs wegen verspäteter Zahlung der Hauptschuld zukommt (<ref-ruling> E. 4.2.1 S. 347). Die Verzugszinsen bezwecken unbekümmert um den tatsächlichen Nutzen und Schaden, den Zinsverlust des Gläubigers und den Zinsgewinn des Schuldners in pauschalierter Form auszugleichen. Hingegen weist der Verzugszins nicht pönalen Charakter auf und ist unabhängig von einem Verschulden am Verzug geschuldet. Für die Verzugszinspflicht im Beitragsbereich ist nicht massgebend, ob den Beitragspflichtigen oder die Ausgleichskasse ein Verschulden an der Verzögerung der Beitragsfestsetzung oder -zahlung trifft (Urteil des Eidgenössischen Versicherungsgerichts H 221/90 vom 24. Januar 1992, E. 4b, publ. in: ZAK 1992 S. 167 f. E. 4b).
3.3.2 Im Lichte dieser Rechtsprechung sind die in der Beschwerde vorgebrachten Argumente unerheblich. Nachdem die Verzugszinspflicht auch besteht, wenn der Verzug einem Verschulden der Ausgleichskasse zuzuschreiben ist, hat die Zinspflicht erst recht zu gelten, wenn, wie vom Beschwerdeführer behauptet, ein Versäumnis einer anderen Amtsstelle, namentlich des Steueramtes, vorliegen sollte, wozu sich dem angefochtenen Entscheid keinerlei Feststellungen tatsächlicher Natur entnehmen lassen, welche für das Bundesgericht im Rahmen von Art. 97 Abs. 1 sowie Art. 105 Abs. 1 und 2 BGG verbindlich wären. Da es ohne Belang ist, ob die Steuerbehörde ein Verschulden trifft, braucht nicht geprüft zu werden, ob eine offensichtlich unrichtige oder auf einer Bundesrechtsverletzung beruhende Sachverhaltsfeststellung der Vorinstanz im Sinne von <ref-law> gegeben ist, welche nach dieser Bestimmung einer Ergänzung zugänglich wäre.
3.4 Hingewiesen sei zu guter Letzt darauf, dass die Beitragspflichtigen den Ausgleichskassen nach <ref-law> die für die Festsetzung der Akontobeiträge erforderlichen Auskünfte zu erteilen, Unterlagen auf Verlangen einzureichen und wesentliche Abweichungen vom voraussichtlichen Einkommen zu melden haben. Damit hat es die beitragspflichtige Person in der Hand, Verzugszinsen gemäss <ref-law> zu vermeiden, indem die Ausgleichskasse dank rechtzeitiger Meldung des höheren Erwerbseinkommens die Akontobeiträge heraufsetzt, womit diese weniger als 25 Prozent unter den tatsächlich geschuldeten Beiträgen liegen. Die (rückwirkende) Verzugszinspflicht nach Massgabe von <ref-law> setzt somit nur ein, wenn die beitragspflichtige Person es - wie hier - versäumt, der Verwaltung das höhere Einkommen rechtzeitig zu melden.
3.5 Ob die öffentliche Hand in den fraglichen Jahren (2005 und 2006) in der Lage gewesen wäre, mit der geschuldeten Summe Erträge von über einem Prozent im Jahr zu erwirtschaften, ist entgegen der in der Beschwerde vertretenen Auffassung unerheblich, da der Verzugszins nicht exakt den der Verwaltung durch den Verzug der beitragspflichtigen Person entstandenen Schaden auszugleichen hat (E. 3.3.1 hievor) und die Höhe des Verzugszinses (seinerzeit 6 %) als gesetzeskonform erachtet wurde (Urteil des Eidgenössischen Versicherungsgerichts H 170/89 vom 5. März 1990, publ. in: ZAK 1990 S. 284).
4. Dem Verfahrensausgang entsprechend sind die Gerichtskosten dem unterliegenden Beschwerdeführer aufzuerlegen (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 500.- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird den Parteien, dem Versicherungsgericht des Kantons Aargau und dem Bundesamt für Sozialversicherungen schriftlich mitgeteilt.
Luzern, 9. April 2008
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Meyer Widmer