Sachverhalt: Sachverhalt: A. A._ war seit Gründung der Firma X._ AG bis 23. Juni 2003 Präsident des Verwaltungsrates mit Kollektivunterschrift zu zweien, hernach bis zur Konkurseröffnung alleiniger Verwaltungsrat mit Einzelunterschrift. H._ amtete gemäss Handelsregisterauszug von der Gründung der Gesellschaft bis zum 2. August 2002 als Prokuristin mit Kollektivprokura zu zweien, danach bis 23. Juni 2003 als Mitglied des Verwaltungsrates mit Kollektivunterschrift zu zweien. Die Firma war der Ausgleichskasse des Kantons Zug (nachfolgend: Ausgleichskasse) als Arbeitgeberin angeschlossen. Am ... 2003 wurde über die zwischenzeitlich in Y._ domizilierte Gesellschaft der Konkurs eröffnet und am ... 2005 mangels Aktiven wieder geschlossen. Mit Verfügungen vom 2. und 23. Februar 2005 verlangte die Ausgleichskasse von A._ und H._ Schadenersatz in der Höhe von Fr. 59'315.90; mit Einspracheentscheid vom 2. März 2005 hielt sie an ihren Verfügungen fest. A. A._ war seit Gründung der Firma X._ AG bis 23. Juni 2003 Präsident des Verwaltungsrates mit Kollektivunterschrift zu zweien, hernach bis zur Konkurseröffnung alleiniger Verwaltungsrat mit Einzelunterschrift. H._ amtete gemäss Handelsregisterauszug von der Gründung der Gesellschaft bis zum 2. August 2002 als Prokuristin mit Kollektivprokura zu zweien, danach bis 23. Juni 2003 als Mitglied des Verwaltungsrates mit Kollektivunterschrift zu zweien. Die Firma war der Ausgleichskasse des Kantons Zug (nachfolgend: Ausgleichskasse) als Arbeitgeberin angeschlossen. Am ... 2003 wurde über die zwischenzeitlich in Y._ domizilierte Gesellschaft der Konkurs eröffnet und am ... 2005 mangels Aktiven wieder geschlossen. Mit Verfügungen vom 2. und 23. Februar 2005 verlangte die Ausgleichskasse von A._ und H._ Schadenersatz in der Höhe von Fr. 59'315.90; mit Einspracheentscheid vom 2. März 2005 hielt sie an ihren Verfügungen fest. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 2. Juni 2005 ab. B. Die hiegegen erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 2. Juni 2005 ab. C. H._ und A._ führen Verwaltungsgerichtsbeschwerde mit dem Antrag, der vorinstanzliche Entscheid sei aufzuheben. Das Verwaltungsgericht des Kantons Zug und die Ausgleichskasse schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherung verzichtet auf eine Vernehmlassung.