Sachverhalt:
Sachverhalt:
A. J._ war ab Dezember 1998 einzelzeichnungsberechtigtes Mitglied des Verwaltungsrates der B._ AG (später B._ AG, seit 23. September 2003 mit Sitz in Zug), V._ hatte seit Juli 2000 Einzelprokura inne. Nachdem ein erstes Konkurserkenntnis vom Appellationshof des Kantons Bern am 10. Dezember 2003 aufgehoben worden war, wurde am 6. Juli 2004 erneut der Konkurs über die B._ AG eröffnet, mit Verfügung des Konkursrichters am 5. August 2004 aber mangels Aktiven wieder eingestellt.
Mit Verfügungen vom 23. Februar 2005 verpflichtete die Ausgleichskasse des Kantons Bern J._ und V._ als ehemalige Organe der B._ AG zur Bezahlung von Schadenersatz von Fr. 65'065.60 für Beiträge, welche die Konkursitin ihr schuldig geblieben sei. Mit Einspracheentscheiden vom 2. September 2005 reduzierte die Ausgleichskasse ihr Schadenersatzforderung auf Fr. 65'035.60.
Mit Verfügungen vom 23. Februar 2005 verpflichtete die Ausgleichskasse des Kantons Bern J._ und V._ als ehemalige Organe der B._ AG zur Bezahlung von Schadenersatz von Fr. 65'065.60 für Beiträge, welche die Konkursitin ihr schuldig geblieben sei. Mit Einspracheentscheiden vom 2. September 2005 reduzierte die Ausgleichskasse ihr Schadenersatzforderung auf Fr. 65'035.60.
B. Die von J._ und V._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 4. Mai 2006 ab.
B. Die von J._ und V._ hiegegen eingereichte Beschwerde wies das Verwaltungsgericht des Kantons Bern mit Entscheid vom 4. Mai 2006 ab.
C. Mit Verwaltungsgerichtsbeschwerde lassen J._ und V._ beantragen, der vorinstanzliche Entscheid sei aufzuheben.
Während die Ausgleichskasse auf Abweisung der Verwaltungsgerichtsbeschwerde schliesst, verzichtet das Bundesamt für Sozialversicherungen auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006, 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006, 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. Auf die Verwaltungsgerichtsbeschwerde kann nur soweit eingetreten werden, als Schadenersatzforderungen kraft Bundesrechts streitig sind. Es ist daher nicht zu prüfen, wie es sich bezüglich der Beitragsschuld gegenüber der kantonalen Familienausgleichskasse verhält (<ref-ruling> E. 1 S. 146).
2. Auf die Verwaltungsgerichtsbeschwerde kann nur soweit eingetreten werden, als Schadenersatzforderungen kraft Bundesrechts streitig sind. Es ist daher nicht zu prüfen, wie es sich bezüglich der Beitragsschuld gegenüber der kantonalen Familienausgleichskasse verhält (<ref-ruling> E. 1 S. 146).
3. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
4. 4.1 Nach ständiger Rechtsprechung prüft das Bundesgericht von Amtes wegen die formellen Gültigkeitserfordernisse des Verfahrens, insbesondere auch die Frage, ob die Vorinstanz zu Recht auf die Beschwerde oder Klage eingetreten ist. Dies gilt auch für die Sachurteilsvoraussetzung der Zuständigkeit der angerufenen Rechtspflegebehörde (Gygi, Bundesverwaltungsrechtspflege, 2. Auflage, S. 72 f.; AHI 1995 S. 187). Hat die Vorinstanz übersehen, dass es an einer Prozessvoraussetzung fehlte, und hat sie materiell entschieden, ist dies im Rechtsmittelverfahren von Amtes wegen zu berücksichtigen mit der Folge, dass der angefochtene Entscheid aufgehoben wird (<ref-ruling> E. 1.2 S. 95, 128 V 89 E. 2a S. 89).
4.2 Der seit 1. Januar 2003 in Kraft stehende und hier intertemporalrechtlich zur Anwendung gelangende <ref-law> regelt die örtliche Zuständigkeit der kantonalen Beschwerdeinstanzen in Schadenersatzprozessen gemäss <ref-law> und entspricht dem bisherigen <ref-law>. Danach ist für die Beschwerde das Versicherungsgericht des Kantons zuständig, in dem der Arbeitgeber seinen Sitz hat. Es gilt denn auch die vor der Gesetzesänderung ergangene Rechtsprechung weiterhin, wonach bei Schadenersatzprozessen gegen juristische Personen und deren Organe die Beschwerde dort zu erheben ist, wo die juristische Person ihren Sitz hat oder vor dem Konkurs hatte, und dies ohne Rücksicht auf den Wohnsitz der in Anspruch genommenen Organe (Urteile des Bundesgerichts H 184/06 vom 25. April 2007 und H 130/06 vom 13. Februar 2007).
4.3 Die B._ AG, als deren Verwaltungsratsmitglied und Prokuristin die Beschwerdeführenden ins Recht gefasst worden sind, hatte ihren Sitz im September 2003 nach Zug verlegt, wo über sie am 6. Juli 2004 der Konkurs eröffnet wurde. Auf die von den Belangten erhobene Beschwerde hätte daher das Verwaltungsgericht des Kantons Bern mangels Zuständigkeit nicht eintreten dürfen. Vielmehr hätte dieses die Sache an das örtlich zuständige Gericht - somit an das Verwaltungsgericht des Kantons Zug - weiterleiten müssen, wie das einem von der Rechtsprechung seit langem anerkannten Grundsatz entspricht, der im gesamten Bundesrecht (vgl. <ref-ruling>) und namentlich auch im Sozialversicherungsprozess allgemein Geltung beansprucht (<ref-ruling>, 102 V 73 E. 1 S. 74; ARV 1991 Nr. 16 S. 121 E. 2a).
Der angefochtene Entscheid vom 4. Mai 2006 ist damit aufzuheben und die Sache zuständigkeitshalber an das Verwaltungsgericht des Kantons Zug zu überweisen, damit es die Beschwerde gegen die Einspracheentscheide vom 2. September 2005 hinsichtlich der bundesrechtlichen Beiträge beurteile.
Der angefochtene Entscheid vom 4. Mai 2006 ist damit aufzuheben und die Sache zuständigkeitshalber an das Verwaltungsgericht des Kantons Zug zu überweisen, damit es die Beschwerde gegen die Einspracheentscheide vom 2. September 2005 hinsichtlich der bundesrechtlichen Beiträge beurteile.
5. Das Verfahren ist kostenpflichtig (Art. 134 OG e contrario). Die Gerichtskosten sind der unterliegenden Beschwerdegegnerin aufzuerlegen (Art. 156 Abs. 1 OG). Diese hat den obsiegenden Beschwerdeführenden überdies eine Parteientschädigung zu bezahlen (Art. 159 Abs. 1 und 2 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird, soweit darauf einzutreten ist, in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Bern vom 4. Mai 2006 bezüglich der bundesrechtlichen Beiträge aufgehoben und die Sache zur Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht des Kantons Zug überwiesen wird.
1. Die Verwaltungsgerichtsbeschwerde wird, soweit darauf einzutreten ist, in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Bern vom 4. Mai 2006 bezüglich der bundesrechtlichen Beiträge aufgehoben und die Sache zur Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht des Kantons Zug überwiesen wird.
2. Die Gerichtskosten von Fr. 1000.- werden der Beschwerdegegnerin auferlegt.
2. Die Gerichtskosten von Fr. 1000.- werden der Beschwerdegegnerin auferlegt.
3. Der geleistete Kostenvorschuss von Fr. 4000.- wird den Beschwerdeführenden zurückerstattet.
3. Der geleistete Kostenvorschuss von Fr. 4000.- wird den Beschwerdeführenden zurückerstattet.
4. Die Beschwerdegegnerin hat den Beschwerdeführenden eine Parteientschädigung von Fr. 2000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Die Beschwerdegegnerin hat den Beschwerdeführenden eine Parteientschädigung von Fr. 2000.- (einschliesslich Mehrwertsteuer) zu bezahlen.
5. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Bern, dem Verwaltungsgericht des Kantons Zug und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 26. Juni 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: