Sachverhalt: Mit Verfügung vom 26. Februar 2001 verpflichtete die Ausgleichskasse des Kantons Aargau S._, Inhaber der Einzelfirma X._, zur Nachzahlung paritätischer AHV/IV/EO/AlV-Beiträge und von Beiträgen an die kantonale Familienausgleichskasse im Gesamtbetrag von Fr. 21'674.10, einschliesslich Verwaltungskosten, zuzüglich Zins zu 5 % seit 1. März 2001, auf den D._ in den Jahren 1996 bis 1999 ausgerichteten Entgelten. Die von S._ hiegegen eingereichte Beschwerde wies das Versicherungsgericht des Kantons Aargau mit Entscheid vom 18. Mai 2004 ab, nachdem es das Verfahren am 19. April 2001 bis zum Vorliegen des Urteilsdispositivs des Bezirksgerichts Zurzach vom 14. Mai 2003 im Strafprozess gegen D._ sistiert und die Akten des Strafverfahrens beigezogen hatte. Mit Verwaltungsgerichtsbeschwerde lässt S._ sinngemäss beantragen, der vorinstanzliche Entscheid und die Nachzahlungsverfügung seien aufzuheben. Die Ausgleichskasse und das Bundesamt für Sozialversicherung verzichten auf eine Vernehmlassung, während sich die als Mitinteressierte beigeladene D._ zur Sache äussert, ohne einen Antrag zu stellen.