Sachverhalt: Sachverhalt: A. Der 1939 geborene J._ war (zusammen mit H._) zunächst Gesellschafter und Geschäftsführer mit Kollektivunterschrift der Firma X._ GmbH, ab 1. Oktober 2002 Gesellschafter ohne Zeichnungsberechtigung. Die Firma X._ GmbH war in Z._ ansässig, weshalb der Anschluss an die Ausgleichskasse Zug erfolgte. Am 20. Februar 2002 verlegte sie ihren Sitz nach Y._ und war ab diesem Zeitpunkt der Ausgleichskasse des Kantons Aargau angeschlossen. Mit Verfügung des Konkursrichters des Bezirks O._ vom 13. August 2002 wurde über die Firma X._ GmbH der Konkurs eröffnet und am 22. Oktober 2002 mangels Aktiven wieder eingestellt. Gestützt auf den Bericht der Revisionsstelle der Ausgleichskassen vom 20. Oktober 2002 erliess die Ausgleichskasse Zug am 13. Juni 2003 gegen J._ die Verfügung, aufgrund entgangener Sozialversicherungsbeiträge Schadenersatz im Umfang von Fr. 37'027.60 zu bezahlen. Eine gleich lautende Verfügung erging am 25. Februar 2004 gegen H._. Die dagegen eingereichten Einsprachen vom 11. Juli 2003 und 29. April 2004 lehnte die Ausgleichskasse Zug ab (Einspracheentscheid vom 13. Juli 2005). Gestützt auf den Bericht der Revisionsstelle der Ausgleichskassen vom 20. Oktober 2002 erliess die Ausgleichskasse Zug am 13. Juni 2003 gegen J._ die Verfügung, aufgrund entgangener Sozialversicherungsbeiträge Schadenersatz im Umfang von Fr. 37'027.60 zu bezahlen. Eine gleich lautende Verfügung erging am 25. Februar 2004 gegen H._. Die dagegen eingereichten Einsprachen vom 11. Juli 2003 und 29. April 2004 lehnte die Ausgleichskasse Zug ab (Einspracheentscheid vom 13. Juli 2005). B. Die von J._ hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 22. August 2006 insoweit gut, als es die Höhe des Schadenersatzes auf Fr. 33'329.10 reduzierte. B. Die von J._ hiegegen erhobene Beschwerde hiess das Versicherungsgericht des Kantons Aargau mit Entscheid vom 22. August 2006 insoweit gut, als es die Höhe des Schadenersatzes auf Fr. 33'329.10 reduzierte. C. J._ führt Verwaltungsgerichtsbeschwerde mit dem Rechtsbegehren, die Schadenersatzklage sei abzuweisen. Eventuell sei die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Während die Ausgleichskasse Zug auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.