Sachverhalt:
Sachverhalt:
A. G._ war einziges Mitglied des Verwaltungsrates der 1984 gegründeten Firma X._ mit Sitz in Y._. Am .... 2003 wurde die Gesellschaft infolge Verlegung ihres Sitzes nach W._ unter der Firma U._ im Handelsregister des Kantons Luzern von Amtes wegen gelöscht. Am .... 2003 erfolgte eine erneute Sitzverlegung nach Z._, Kanton Zug, und eine Firmenänderung in Firma A._; gleichzeitig trat G._ aus dem Verwaltungsrat aus. Am .... 2004 wurde über die Firma der Konkurs eröffnet. In diesem Verfahren meldete die Ausgleichskasse Luzern dem Konkursamt Zug ihre Forderungen an, die im wesentlichen aus unbezahlt gebliebenen bundes- und kantonalrechtlichen Sozialversicherungsbeiträgen bestanden. Nachdem das Konkursamt der Ausgleichskasse mit Verlustschein vom 31. August 2004 bekannt gegeben hatte, dass die geltend gemachte Forderung von Fr. 57'203.85 ungedeckt bleibe, machte die Kasse den genannten Betrag gegenüber G._ als Schadenersatzforderung geltend (Verfügung vom 27. Januar 2005). Die hiegegen von G._ erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 3. Juni 2005 teilweise gut und reduzierte die Schadenersatzforderung auf Fr. 41'404.05.
A. G._ war einziges Mitglied des Verwaltungsrates der 1984 gegründeten Firma X._ mit Sitz in Y._. Am .... 2003 wurde die Gesellschaft infolge Verlegung ihres Sitzes nach W._ unter der Firma U._ im Handelsregister des Kantons Luzern von Amtes wegen gelöscht. Am .... 2003 erfolgte eine erneute Sitzverlegung nach Z._, Kanton Zug, und eine Firmenänderung in Firma A._; gleichzeitig trat G._ aus dem Verwaltungsrat aus. Am .... 2004 wurde über die Firma der Konkurs eröffnet. In diesem Verfahren meldete die Ausgleichskasse Luzern dem Konkursamt Zug ihre Forderungen an, die im wesentlichen aus unbezahlt gebliebenen bundes- und kantonalrechtlichen Sozialversicherungsbeiträgen bestanden. Nachdem das Konkursamt der Ausgleichskasse mit Verlustschein vom 31. August 2004 bekannt gegeben hatte, dass die geltend gemachte Forderung von Fr. 57'203.85 ungedeckt bleibe, machte die Kasse den genannten Betrag gegenüber G._ als Schadenersatzforderung geltend (Verfügung vom 27. Januar 2005). Die hiegegen von G._ erhobene Einsprache hiess die Ausgleichskasse mit Entscheid vom 3. Juni 2005 teilweise gut und reduzierte die Schadenersatzforderung auf Fr. 41'404.05.
B. Die dagegen von G._ beim Verwaltungsgericht des Kantons Luzern erhobene Beschwerde wies dieses mit Entscheid vom 27. Juni 2006 ab.
B. Die dagegen von G._ beim Verwaltungsgericht des Kantons Luzern erhobene Beschwerde wies dieses mit Entscheid vom 27. Juni 2006 ab.
C. G._ lässt Verwaltungsgerichtsbeschwerde erheben und beantragen, der vorinstanzliche Entscheid sei aufzuheben.
Die Ausgleichskasse schliesst auf Abweisung der Verwaltungsgerichtsbeschwerde, während das Bundesamt für Sozialversicherungen auf eine Vernehmlassung verzichtet.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1. Das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) ist am 1. Januar 2007 in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (<ref-ruling> E. 1 S. 428 mit Hinweis).
2. Auf die Verwaltungsgerichtsbeschwerde kann nur so weit eingetreten werden, als die Schadenersatzforderung kraft Bundesrechts streitig ist. Im vorliegenden Verfahren ist deshalb auf die Verwaltungsgerichtsbeschwerde in dem Umfang nicht einzutreten, als sie sich gegen die Schadenersatzforderung für entgangene Beiträge an die kantonale Familienausgleichskasse richtet (<ref-ruling> E. 1 S. 428 mit Hinweis).
3. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
3. Die strittige Verfügung hat nicht die Bewilligung oder Verweigerung von Versicherungsleistungen zum Gegenstand. Das Eidgenössische Versicherungsgericht prüft daher nur, ob das vorinstanzliche Gericht Bundesrecht verletzte, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt wurde (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
4. 4.1 Nach ständiger Rechtsprechung prüft das Eidgenössische Versicherungsgericht von Amtes wegen die formellen Gültigkeitserfordernisse des Verfahrens, insbesondere auch die Frage, ob die Vorinstanz zu Recht auf die Beschwerde oder Klage eingetreten ist. Dies gilt auch für die Sachurteilsvoraussetzung der Zuständigkeit der angerufenen Rechtspflegebehörde (Gygi, Bundesverwaltungsrechtspflege, 2. Auflage, S. 72 f.; AHI 1995 S. 187). Hat die Vorinstanz übersehen, dass es an einer Prozessvoraussetzung fehlte, und hat sie materiell entschieden, ist dies im Rechtsmittelverfahren von Amtes wegen zu berücksichtigen mit der Folge, dass der angefochtene Entscheid aufgehoben wird (<ref-ruling> E. 1.2 S. 95, 128 V 89 E. 2a S. 89).
4.2 Mit Bezug auf die örtliche Zuständigkeit der kantonalen Rekursinstanz in Schadenersatzprozessen gemäss <ref-law> bestimmte der bis 31. Dezember 2002 gültig gewesene <ref-law>, dass die Ausgleichskasse innert 30 Tagen seit Kenntnis des Einspruchs gegen die Schadenersatzverfügung bei der Rekursbehörde des Kantons, in welchem der Arbeitgeber seinen Wohnsitz hat, schriftlich Klage zu erheben hat. Dazu hat das Eidgenössische Versicherungsgericht wiederholt erkannt, dass <ref-law> keine ausdrückliche Bestimmung über die örtlich zuständige Rekursbehörde bei Schadenersatzklagen gegen juristische Personen und deren Organe enthält, in diesen Fällen die Klage indes bei der Rekursbehörde jenes Kantons zu erheben ist, wo die juristische Person ihren Sitz hat oder vor dem Konkurs hatte, und zwar ohne Rücksicht auf den Wohnsitz der in Anspruch genommenen Organe (<ref-ruling> E. 4b S. 358, 109 V 101). Sodann hat das Eidgenössische Versicherungsgericht entschieden, dass der vorgenannte Grundsatz auch dann gilt, wenn der Sitz oder Wohnsitz kurze Zeit vor Erlass der Schadenersatzverfügung oder vor Einreichung der Schadenersatzklage gewechselt hat (AHI 1995 S. 187). In den Urteilen H 236/00 vom 29. Januar 2001 und H 110/01 vom 18. Dezember 2001 wurde diese Praxis bestätigt.
4.3 An dieser Zuständigkeitsordnung hat sich mit Inkrafttreten des Bundesgesetzes vom 6. Oktober 2000 über den Allgemeinen Teil des Sozialversicherungsrechts (ATSG) am 1. Januar 2003 nichts geändert. Zwar bestimmt <ref-law>, dass das Versicherungsgericht desjenigen Kantons zuständig ist, in dem die versicherte Person oder der Beschwerde führende Dritte zur Zeit der Beschwerdeerhebung ihren Wohnsitz hat. Der seit 1. Januar 2003 in Kraft stehende <ref-law> sieht indes für den Schadenersatzprozess - der nunmehr als Beschwerdeverfahren ausgestaltet ist - mit dem Versicherungsgericht am Wohnsitz des Arbeitgebers ausdrücklich eine von <ref-law> abweichende Zuständigkeit vor, welche dem bisherigen <ref-law> entspricht (vgl. Kieser, ATSG-Kommentar, N 25 zu Art. 58; BBl 1999 4621, 4764). Damit behält die bisherige Rechtsprechung zu a<ref-law> auch unter der Herrschaft des ATSG und dem seit 1. Januar 2003 in Kraft stehenden <ref-law> ihre Gültigkeit.
4.4 Die Firma X._, als deren Verwaltungsrat der Beschwerdeführer ins Recht gefasst worden ist, hatte ihren Sitz - jeweils unter gleichzeitiger Änderung der Firma - im ... 2003 zunächst nach W._ und später nach Z._ verlegt. Der Konkurs wurde im Kanton Zug eröffnet. Auf die vom Beschwerdeführer unzuständigenorts erhobene Beschwerde hätte daher das Verwaltungsgericht des Kantons Luzern mangels Zuständigkeit nicht eintreten dürfen. Vielmehr wäre die Sache vom Verwaltungsgericht des Kantons Luzern an das örtlich zuständige Gericht - somit an das Verwaltungsgericht des Kantons Zug - weiterzuleiten gewesen, wie das einem von der Rechtsprechung seit langem anerkannten Grundsatz entspricht, der im gesamten Bundesrecht (vgl. <ref-ruling>) und namentlich auch im Sozialversicherungsprozess allgemeine Geltung beansprucht (<ref-ruling>, 102 V 73 E. 1 S. 74; ARV 1991 Nr. 16 S. 121 E. 2a).
Der angefochtene Entscheid vom 27. Juni 2006 ist damit aufzuheben, und die Sache zuständigkeitshalber an das Verwaltungsgericht des Kantons Zug zu überweisen, damit es die Beschwerde gegen den Einspracheentscheid vom 3. Juni 2005 hinsichtlich der bundesrechtlichen Beiträge beurteile.
Der angefochtene Entscheid vom 27. Juni 2006 ist damit aufzuheben, und die Sache zuständigkeitshalber an das Verwaltungsgericht des Kantons Zug zu überweisen, damit es die Beschwerde gegen den Einspracheentscheid vom 3. Juni 2005 hinsichtlich der bundesrechtlichen Beiträge beurteile.
5. Das Verfahren ist kostenpflichtig, da es nicht um die Bewilligung oder Verweigerung von Versicherungsleistungen geht (Art. 134 OG e contrario). Die unterliegende Beschwerdegegnerin hat somit die Gerichtskosten zu tragen (Art. 156 Abs. 1 in Verbindung mit Art. 135 OG). Dem teilweise obsiegenden Beschwerdeführer steht eine reduzierte Parteientschädigung zu (Art. 159 Abs. 2 in Verbindung mit Art. 135 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird, soweit darauf einzutreten ist, in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 27. Juni 2006 bezüglich der bundesrechtlichen Beiträge aufgehoben und die Sache zur Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht des Kantons Zug überwiesen wird.
1. Die Verwaltungsgerichtsbeschwerde wird, soweit darauf einzutreten ist, in dem Sinne gutgeheissen, dass der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 27. Juni 2006 bezüglich der bundesrechtlichen Beiträge aufgehoben und die Sache zur Beurteilung im Sinne der Erwägungen an das Verwaltungsgericht des Kantons Zug überwiesen wird.
2. Die Gerichtskosten von Fr. 3'500.- werden der Beschwerdegegnerin auferlegt.
2. Die Gerichtskosten von Fr. 3'500.- werden der Beschwerdegegnerin auferlegt.
3. Der Kostenvorschuss von Fr. 3'500.- wird dem Beschwerdeführer zurückerstattet.
3. Der Kostenvorschuss von Fr. 3'500.- wird dem Beschwerdeführer zurückerstattet.
4. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor dem Bundesgericht eine Parteientschädigung von Fr. 1'500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
4. Die Beschwerdegegnerin hat dem Beschwerdeführer für das Verfahren vor dem Bundesgericht eine Parteientschädigung von Fr. 1'500.- (einschliesslich Mehrwertsteuer) zu bezahlen.
5. Dieses Urteil wird den Parteien, den Verwaltungsgerichten der Kantone Luzern und Zug, und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 13. Februar 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Die Gerichtsschreiberin:
i.V.