Sachverhalt: Sachverhalt: A. Gemäss Art. 28 Abs. 1 des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) wird in den Kantonen eine "öffentliche Liste" der Angehörigen von Mitgliedstaaten der EU oder der EFTA, die in der Schweiz unter ihrer ursprünglichen Berufsbezeichnung ständig Parteien vor Gerichtsbehörden vertreten dürfen, geführt. A. Gemäss Art. 28 Abs. 1 des Bundesgesetzes vom 23. Juni 2000 über die Freizügigkeit der Anwältinnen und Anwälte (Anwaltsgesetz, BGFA; SR 935.61) wird in den Kantonen eine "öffentliche Liste" der Angehörigen von Mitgliedstaaten der EU oder der EFTA, die in der Schweiz unter ihrer ursprünglichen Berufsbezeichnung ständig Parteien vor Gerichtsbehörden vertreten dürfen, geführt. B. X._ ist in Deutschland als Rechtsanwalt tätig. Am 2. Oktober 2002 ersuchte er die Aufsichtskommission über die Rechtsanwälte des Kantons Zug (im Folgenden: Aufsichtskommission) um Eintragung in die genannte Liste. Mit Verfügung vom 17. Dezember 2002 wies der Präsident der Aufsichtskommission das Gesuch ab. Hiergegen erhob X._ Beschwerde an die 2. Zivilrechtliche Abteilung des Obergerichts des Kantons Zug (im Folgenden: Obergericht), welche diese mit Urteil vom 2. September 2003 abwies, soweit sie darauf eintrat. B. X._ ist in Deutschland als Rechtsanwalt tätig. Am 2. Oktober 2002 ersuchte er die Aufsichtskommission über die Rechtsanwälte des Kantons Zug (im Folgenden: Aufsichtskommission) um Eintragung in die genannte Liste. Mit Verfügung vom 17. Dezember 2002 wies der Präsident der Aufsichtskommission das Gesuch ab. Hiergegen erhob X._ Beschwerde an die 2. Zivilrechtliche Abteilung des Obergerichts des Kantons Zug (im Folgenden: Obergericht), welche diese mit Urteil vom 2. September 2003 abwies, soweit sie darauf eintrat. C. Mit Postaufgabe vom 6. November 2003 hat X._ beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er beantragt, das Urteil des Obergerichts sowie die Verfügung der Aufsichtskommission aufzuheben und die Behörden anzuweisen, ihn in die erwähnte öffentliche Liste aufzunehmen; eventualiter sei die Angelegenheit an das Obergericht zu neuem Entscheid zurückzuweisen. C. Mit Postaufgabe vom 6. November 2003 hat X._ beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er beantragt, das Urteil des Obergerichts sowie die Verfügung der Aufsichtskommission aufzuheben und die Behörden anzuweisen, ihn in die erwähnte öffentliche Liste aufzunehmen; eventualiter sei die Angelegenheit an das Obergericht zu neuem Entscheid zurückzuweisen. D. Die Aufsichtskommission sowie das Obergericht schliessen auf Abweisung der Beschwerde. Das Eidgenössische Justiz- und Polizeidepartement hat sich durch das Bundesamt für Justiz vernehmen lassen, jedoch keinen Antrag gestellt. Der zur Vernehmlassung eingeladene Advokatenverein des Kantons Zug hat sich nicht geäussert.