Sachverhalt:
Sachverhalt:
A. P._, früher in H._ wohnhaft, ist aufgrund seiner in X._ ausgeübten selbstständigen Erwerbstätigkeit der Ausgleichskasse des Kantons Zug angeschlossen. Gestützt auf die Steuermeldung vom 26. April 2005 und nach einer telefonischen Nachfrage setzte die Ausgleichskasse des Kantons Zug die Beiträge mit Nachtragsverfügungen vom 11. Mai 2005 für das Jahr 2002 aufgrund eines beitragspflichtigen Einkommens von Fr. 84'700.- und für 2003 aufgrund eines solchen von Fr. 143'100.- fest. Auf Einsprache hin ersuchte sie die Steuerverwaltung Bern um Zustellung schriftlicher Steuermeldungen für die Jahre 2001 und 2002. Nach Eingang der Steuermeldungen vom 22. Juni 2005 verfügte sie am 4. Juli 2005 die Beiträge für das Jahr 2001 gestützt auf ein beitragspflichtiges Einkommen von Fr. 81'300.-. Auch hiegegen erhob P._ Einsprache. Mit Einspracheentscheid vom 11. August 2005 hiess die Ausgleichskasse die Einsprache betreffend die Beiträge für das Jahr 2003 gut und hob die entsprechende Verfügung auf, die Einsprachen in Bezug auf die Beitragsjahre 2001 und 2002 wies sie ab, unter Zugrundelegung eines beitragspflichtigen Einkommens gestützt auf die Steuermeldung vom 22. Juni 2005 von Fr. 174'600.- für das Jahr 2002.
A. P._, früher in H._ wohnhaft, ist aufgrund seiner in X._ ausgeübten selbstständigen Erwerbstätigkeit der Ausgleichskasse des Kantons Zug angeschlossen. Gestützt auf die Steuermeldung vom 26. April 2005 und nach einer telefonischen Nachfrage setzte die Ausgleichskasse des Kantons Zug die Beiträge mit Nachtragsverfügungen vom 11. Mai 2005 für das Jahr 2002 aufgrund eines beitragspflichtigen Einkommens von Fr. 84'700.- und für 2003 aufgrund eines solchen von Fr. 143'100.- fest. Auf Einsprache hin ersuchte sie die Steuerverwaltung Bern um Zustellung schriftlicher Steuermeldungen für die Jahre 2001 und 2002. Nach Eingang der Steuermeldungen vom 22. Juni 2005 verfügte sie am 4. Juli 2005 die Beiträge für das Jahr 2001 gestützt auf ein beitragspflichtiges Einkommen von Fr. 81'300.-. Auch hiegegen erhob P._ Einsprache. Mit Einspracheentscheid vom 11. August 2005 hiess die Ausgleichskasse die Einsprache betreffend die Beiträge für das Jahr 2003 gut und hob die entsprechende Verfügung auf, die Einsprachen in Bezug auf die Beitragsjahre 2001 und 2002 wies sie ab, unter Zugrundelegung eines beitragspflichtigen Einkommens gestützt auf die Steuermeldung vom 22. Juni 2005 von Fr. 174'600.- für das Jahr 2002.
B. Die hinsichtlich der Beitragsjahre 2001 und 2002 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 31. Mai 2006 ab.
B. Die hinsichtlich der Beitragsjahre 2001 und 2002 erhobene Beschwerde wies das Verwaltungsgericht des Kantons Zug mit Entscheid vom 31. Mai 2006 ab.
C. P._ führt Verwaltungsgerichtsbeschwerde mit dem Antrag, der vorinstanzliche Entscheid sei hinsichtlich der Beiträge für das Jahr 2001 aufzuheben und die Beiträge für das Jahr 2002 seien "rechtmässig" zu bestimmen.
Das kantonale Gericht und die Ausgleichskasse des Kantons Zug schliessen auf Abweisung der Verwaltungsgerichtsbeschwerde. Das Bundesamt für Sozialversicherungen verzichtet auf eine Vernehmlassung.

Das Bundesgericht zieht in Erwägung:
Das Bundesgericht zieht in Erwägung:
1. Am 1. Januar 2007 ist das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
1. Am 1. Januar 2007 ist das Bundesgesetz über das Bundesgericht vom 17. Juni 2005 (BGG; SR 173.110) in Kraft getreten (AS 2006 1205, 1243). Da der angefochtene Entscheid vorher ergangen ist, richtet sich das Verfahren noch nach OG (<ref-law>; <ref-ruling> E. 1.2 S. 395).
2. Da keine Versicherungsleistungen streitig sind, hat das Bundesgericht nur zu prüfen, ob der vorinstanzliche Entscheid Bundesrecht verletzt, einschliesslich Überschreitung oder Missbrauch des Ermessens, oder ob der rechtserhebliche Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 132 in Verbindung mit Art. 104 lit. a und b sowie Art. 105 Abs. 2 OG).
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Bundesgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
Ferner ist Art. 114 Abs. 1 OG zu beachten, wonach das Bundesgericht in Abgabestreitigkeiten an die Parteibegehren nicht gebunden ist, wenn es im Prozess um die Verletzung von Bundesrecht oder um die unrichtige oder unvollständige Feststellung des Sachverhalts geht.
3. Das kantonale Gericht hat die Bestimmungen über den Begriff des Einkommens aus selbstständiger Erwerbstätigkeit (<ref-law>, <ref-law>), die zeitliche Bemessung der Beiträge (<ref-law>), deren Festsetzung (<ref-law>) und die Aufgaben der Steuerbehörden (<ref-law>; vgl. auch <ref-law>) sowie die Verbindlichkeit der Steuermeldung (<ref-law>) zutreffend dargelegt. Darauf wird verwiesen.
Zu ergänzen ist, dass der Grundsatz, wonach eine versicherte Person ihre Rechte im Steuerjustizverfahren zu wahren hat, allerdings dann eine Einschränkung erfährt, wenn die in der Veranlagung festgesetzte Steuer nur einen niedrigen Betrag ausmacht und deshalb mangels relevanten Streitwerts kein Anlass für die Erhebung eines Rechtsmittels besteht (<ref-ruling> E. 3b S. 373 f.; ZAK 1992 S. 36 E. 5a). In dieser Konstellation ist nach der Rechtsprechung eine selbstständige Prüfung der den angefochtenen Beitragsverfügungen und Einspracheentscheiden zu Grunde liegenden Steuerfaktoren möglich (ZAK 1992 S. 36 E. 5a). Dies gilt erst recht, wenn die Veranlagung ergab, dass keine Steuer geschuldet ist; denn diesfalls hat die steuerpflichtige Person nicht nur wenig Interesse, sondern in aller Regel mangels Beschwer überhaupt keine Möglichkeit, den steuerlichen Rechtsmittelweg zu beschreiten (Urteil der II. sozialrechtlichen Abteilung des Bundesgerichts in Sachen K. vom 11. April 2007, H 64/06, mit Hinweis auf das Urteil H 38/05 vom 10. Juni 2005, E. 2.4).
Zu ergänzen ist, dass der Grundsatz, wonach eine versicherte Person ihre Rechte im Steuerjustizverfahren zu wahren hat, allerdings dann eine Einschränkung erfährt, wenn die in der Veranlagung festgesetzte Steuer nur einen niedrigen Betrag ausmacht und deshalb mangels relevanten Streitwerts kein Anlass für die Erhebung eines Rechtsmittels besteht (<ref-ruling> E. 3b S. 373 f.; ZAK 1992 S. 36 E. 5a). In dieser Konstellation ist nach der Rechtsprechung eine selbstständige Prüfung der den angefochtenen Beitragsverfügungen und Einspracheentscheiden zu Grunde liegenden Steuerfaktoren möglich (ZAK 1992 S. 36 E. 5a). Dies gilt erst recht, wenn die Veranlagung ergab, dass keine Steuer geschuldet ist; denn diesfalls hat die steuerpflichtige Person nicht nur wenig Interesse, sondern in aller Regel mangels Beschwer überhaupt keine Möglichkeit, den steuerlichen Rechtsmittelweg zu beschreiten (Urteil der II. sozialrechtlichen Abteilung des Bundesgerichts in Sachen K. vom 11. April 2007, H 64/06, mit Hinweis auf das Urteil H 38/05 vom 10. Juni 2005, E. 2.4).
4. 4.1 Beschwerdegegnerin und kantonales Gericht haben gestützt auf die damals noch gültige Rechtsprechung (EVGE 1960 S. 29 und seither ergangene Urteile; zuletzt Urteil des Eidgenössischen Versicherungsgerichts in Sachen R. vom 4. Dezember 2003, H 255/03) die periodenübergreifende Verrechnung von Verlusten für nicht zulässig erklärt und bei der Festsetzung des beitragspflichtigen Einkommens ausser Acht gelassen. Aus den ursprünglichen Steuermeldungen vom 9. Januar 2004 ergab sich unter Berücksichtigung der Verlustvorträge für die Jahre 1995 und 1997 für die Steuerjahre 2001 und 2002 jeweils ein Verlust. Soweit die Verwaltungsgerichtsbeschwerde sich überhaupt mit den massgebenden Einkommenszahlen befasst und verständlich ist, scheint der Beschwerdeführer die Nichtberücksichtigung der Verlustvorträge zu beanstanden.
4.2 In <ref-ruling> hat das Eidgenössische Versicherungsgericht entschieden, dass an der bisherigen Rechtsprechung nach dem Wechsel von der zwei- zur einjährigen Beitrags- und Bemessungsperiode (<ref-law> in der hier massgebenden, vom 1. Januar 2001 bis 31. Dezember 2003 gültig gewesenen Fassung) nicht mehr festzuhalten und die Zulässigkeit der periodenübergreifenden Verlustverrechnung für die Beitragsjahre ab 2001 zu bejahen ist. Im bereits erwähnten Urteil K. vom 11. April 2007 (H 64/06) hat die II. sozialrechtliche Abteilung des Bundesgerichts in intertemporalrechtlicher Hinsicht entschieden, dass beitragsrechtlich die periodenübergreifende Verrechenbarkeit auf Verluste beschränkt bleibt, welche im Jahre 2001 oder später eingetreten sind und verbucht wurden. Die hier zur Beurteilung stehenden, aus den Jahren 1995 und 1997 stammenden Verluste haben daher Ausgleichskasse und Vorinstanz für die Bemessung des beitragspflichtigen Einkommens der Jahre 2001 und 2002 im Ergebnis zu Recht nicht berücksichtigt.
4.3 Im Übrigen wird in der Verwaltungsgerichtsbeschwerde nichts vorgebracht, was die tatsächlichen Feststellungen der Vorinstanz zur Höhe der beitragspflichtigen Einkommen als mangelhaft im Sinne von Art. 105 Abs. 2 OG oder die rechtliche Würdigung als bundesrechtswidrig (Art. 104 lit. a und b OG) erscheinen liesse. Die angebliche Korrekur der Aufrechnung von Fr. 100'000.- für das Jahr 2003 ändert nichts daran, dass nach der nicht offensichtlich unrichtigen Feststellung der Vorinstanz die Veranlagungsverfügung für die direkte Bundessteuer für das Jahr 2002 rechtskräftig ist und die entsprechende Steuermeldung zu Recht der Beitragsverfügung zu Grunde gelegt wurde. Das Beitragsjahr 2003 ist aufgrund des Einspracheentscheides und des kantonalen Gerichtsentscheids im letztinstanzlichen Verfahren nicht zu beurteilen. Insoweit ist auf die Verwaltungsgerichtsbeschwerde nicht einzutreten.
4.3 Im Übrigen wird in der Verwaltungsgerichtsbeschwerde nichts vorgebracht, was die tatsächlichen Feststellungen der Vorinstanz zur Höhe der beitragspflichtigen Einkommen als mangelhaft im Sinne von Art. 105 Abs. 2 OG oder die rechtliche Würdigung als bundesrechtswidrig (Art. 104 lit. a und b OG) erscheinen liesse. Die angebliche Korrekur der Aufrechnung von Fr. 100'000.- für das Jahr 2003 ändert nichts daran, dass nach der nicht offensichtlich unrichtigen Feststellung der Vorinstanz die Veranlagungsverfügung für die direkte Bundessteuer für das Jahr 2002 rechtskräftig ist und die entsprechende Steuermeldung zu Recht der Beitragsverfügung zu Grunde gelegt wurde. Das Beitragsjahr 2003 ist aufgrund des Einspracheentscheides und des kantonalen Gerichtsentscheids im letztinstanzlichen Verfahren nicht zu beurteilen. Insoweit ist auf die Verwaltungsgerichtsbeschwerde nicht einzutreten.
5. Der unterliegende Beschwerdeführer hat die Gerichtskosten zu tragen (Art. 156 Abs. 1 i.V. mit Art. 135 OG).

Demnach erkennt das Bundesgericht:
Demnach erkennt das Bundesgericht:
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
1. Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 1300.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
2. Die Gerichtskosten von Fr. 1300.- werden dem Beschwerdeführer auferlegt und mit dem geleisteten Kostenvorschuss verrechnet.
3. Dieses Urteil wird den Parteien, dem Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, und dem Bundesamt für Sozialversicherungen zugestellt.
Luzern, 25. Mai 2007
Im Namen der II. sozialrechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber: