Sachverhalt: A. A._ hat als Nichterwerbstätiger Sozialversicherungsbeiträge zu bezahlen. Mit Verfügung vom 1. Februar 2016 erhob die Ausgleichskasse des Kantons Zug für 2016 auf der Grundlage eines massgebenden Vermögens von Fr. 5 Mio. provisorische Beiträge (einschliesslich Verwaltungskosten) in der Höhe von Fr. 13'680.95. Daran hielt sie mit Einspracheentscheid vom 6. Juni 2016 fest. B. Die Beschwerde des A._ wies das Verwaltungsgericht des Kantons Zug, Sozialversicherungsrechtliche Kammer, nach zweifachem Schriftenwechsel mit Entscheid vom 22. Dezember 2016 ab, soweit darauf einzutreten war. C. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt A._, der Entscheid vom 22. Dezember 2016 und die Verfügung vom 1. Februar 2016 seien aufzuheben; die Sache sei zur Neufestsetzung der Beiträge 2016 an die kantonale Ausgleichskasse, eventualiter zwecks erneuter Prüfung seiner Argumente und Rügen an das kantonale Verwaltungsgericht zurückzuweisen. Die Ausgleichskasse ersucht um Abweisung der Beschwerde, desgleichen das Bundesamt für Sozialversicherungen (BSV). A._ hat Bemerkungen zu den Ausführungen der Aufsichtsbehörde gemacht.