Sachverhalt: A. A.a. Die Steuerverwaltung des Kantons Zug meldete der Ausgleichskasse des Kantons Zug (nachfolgend: Ausgleichskasse) am 10. Januar 2012 ein für G._ für das Geschäftsjahr 2008 definitiv veranlagtes Einkommen aus selbstständiger Erwerbstätigkeit in Höhe von Fr. 9'934.-. Die im Meldeformular aufgeführte Frage, ob davon die persönlichen AHV/IV/EO-Beiträge abgezogen worden seien, wurde verneint. Aufgrund dieser Meldung nahm die Ausgleichskasse am 9. Februar 2012 zunächst schriftlich mit G._ Kontakt auf und bat um die im Hinblick auf den Anschluss an die Kasse als Selbstständigerwerbender erforderlichen Angaben. Mit Beitragsverfügung vom 24. April 2012 setzte sie für G._ den AHV/IV/EO-Beitrag für selbstständige Erwerbstätigkeit (inkl. Verwaltungskosten) für das Jahr 2008 auf Fr. 526.80 fest. Sie rechnete bei der Beitragsbemessung persönliche Beiträge von Fr. 534.- auf. A.b. Auch in der Steuermeldung vom 7. August 2012 für das Geschäftsjahr 2009 wurde die Frage verneint, ob die persönlichen AHV/IV/EO-Beiträge vom Einkommen aus selbstständiger Erwerbstätigkeit abgezogen worden seien. Mit Beitragsverfügung vom 14. August 2012 rechnete die Ausgleichskasse dem Versicherten persönliche Beiträge in der Höhe von Fr. 8'192.- auf. Sie verpflichtete ihn, für das Beitragsjahr 2009 AHV/IV/EO-Beiträge in der Höhe von Fr. 8'376.60 (inkl. Verwaltungskosten) zu bezahlen. Die von G._ hiegegen erhobene Einsprache wies sie mit Entscheid vom 7. November 2012 ab. B. Das Verwaltungsgericht des Kantons Zug hiess die von G._ dagegen eingereichte Beschwerde mit Entscheid vom 31. Januar 2013 insoweit gut, als es feststellte, die Aufrechnung der persönlichen AHV/IV/EO-Beiträge durch die Ausgleichskasse sei nicht gerechtfertigt. Es wies die Sache zur Neufestlegung der Beiträge im Sinne der Erwägungen an die Verwaltung zurück. Im Übrigen wies es die Beschwerde ab. C. C.a. Das Bundesamt für Sozialversicherungen (nachfolgend: BSV) erhebt Beschwerde in öffentlich-rechtlichen Angelegenheiten und beantragt die Aufhebung des kantonalen Entscheides und Bestätigung des Einspracheentscheides. Eventualiter sei der Entscheid des Verwaltungsgerichts aufzuheben und die Sache an die Ausgleichskasse zurückzuweisen, damit sie das Einspracheverfahren sistiere, bis ihr die Steuerbehörde den Entscheid über die eventuelle nachträgliche Berücksichtigung der persönlichen AHV/IV/EO-Beiträge in der Steuerveranlagung mitgeteilt haben werde. G._ beantragt insoweit die Gutheissung der Beschwerde, als der Einspracheentscheid aufzuheben sei; die Sache sei mit der Massgabe an die Ausgleichskasse zurückzuweisen, dass die in Deutschland entrichteten Sozialbeiträge bei der Berechnung mitzuberücksichtigen sind. Im Weiteren sei die Beschwerde abzuweisen. Die Vorinstanz beantragt die Abweisung, die Ausgleichskasse die Gutheissung der Beschwerde. C.b. Mit Schreiben vom 2. Oktober 2013 beantwortet die Steuerverwaltung des Kantons Zug nach Rückfrage bei dem für G._ zuständigen Bücherexperten die ihr vom Bundesgericht mit Schreiben des Instruktionsrichters vom 24. September 2013 unterbreiteten nachstehenden Fragen wie folgt ( Antworten kursiv ) : 1. Trifft die in Ihrer Meldung vom 7. August 2012 gemachte Angabe ("nein") zu, dass vom Einkommen aus selbstständiger Erwerbstätigkeit in Höhe von Fr. 82'237.- die persönlichen AHV/IV/EO-Beiträge nicht abgezogen worden waren? Ja; zumindest ist aus der Jahresrechnung nichts anderes ersichtlich (kein Aufwandkonto "Sozialversicherungsbeiträge"). 2. Bei Bejahung von Frage Ziff. 1: Was ist der Grund für den fehlenden Abzug der Selbstständigenbeiträge im steuerlichen Veranlagungsverfahren? Ein solcher Abzug wurde weder deklariert noch beantragt. 2.1 Bestand der Grund darin, dass der Steuerpflichtige keine solchen Beiträge deklariert hatte? Ja, der Steuerpflichtige hatte keine solchen Beiträge deklariert. 2.2 Bestand der Grund darin, dass die Selbstständigenbeiträge vonseiten Ihrer Behörde nicht als abzugsfähig anerkannt worden sind? Nein. 2.3 Waren eventuell im Zeitpunkt der Meldung vom 7. August 2012 die auch für die Meldung früherer Jahre erforderlichen Verfahrens- oder Formularanpassungen noch nicht umgesetzt? Nein. 2.4 Andere Gründe? Keine. 3. Falls das der Ausgleichskasse gemeldete Einkommen tatsächlich im Rahmen der Steuerveranlagung abzugsfähige, aber effektiv nicht abgezogene AHV/IV/EO-Beiträge umfasste: Wie hoch war deren Betrag? Wird von der AHV aufgrund unserer Meldung berechnet. Unsererseits ist dieser Betrag nicht feststellbar. 4. Hat der Steuerpflichtige gegen die ihm am 22. Mai 2012 eröffnete Steuer-Hauptveranlagung, auf die sich Ihre Meldung vom 7. August 2012 stützte, Einsprache erhoben? Wenn dies der Fall ist, bitten wir Sie um Informationen zum Stand und Ausgang des Verfahrens. Nein, er hat dagegen keine Einsprache bzw. keinen Rekurs erhoben. Es handelt sich hier um einen Einspracheentscheid. Dieser ist mittlerweile in Rechtskraft erwachsen. 5. Haben Sie aus Ihrer Sicht Bemerkungen zu machen? Nein, keine Bemerkungen. C.c. Im Rahmen des zweiten Schriftenwechsels hält das BSV an den gestellten Rechtsbegehren fest; die Vorinstanz verzichtet auf eine weitere Stellungnahme; G._ hält in einer nach Ablauf der gesetzten Frist am 30. Oktober 2013 (Poststempel) durch eine nicht bevollmächtigte Person in seinem Auftrag unterzeichneten Stellungnahme sinngemäss an den gestellten Anträgen (C.a) fest. D. Das Bundesgericht hat am 13. Dezember 2013 eine publikumsöffentliche Beratung durchgeführt.