Sachverhalt: A. X._ ist Rechtsanwalt und Urkundsperson des Kantons Zug und führt in Zug eine Anwaltskanzlei. Am 3. September 2002 wurde er ins kantonale Anwaltsregister eingetragen; zugleich wurde festgestellt, dass er zur öffentlichen Beurkundung ermächtigt sei. Am 28. März 2006 hat er im Zusammenhang mit einer Gesellschaftsgründung dem Handelsregisteramt Zug eine Urkunde eingereicht, die eine der beteiligten Personen nicht eigenhändig (sondern mit einem Stempel) unterzeichnet hatte und in der wahrheitswidrig festgestellt wurde, die betreffende Person habe an der Versammlung der Gründer teilgenommen. Die Aufsichtskommission über die Rechtsanwälte des Kantons Zug erblickte darin einen Verstoss gegen § 16 des Zuger Gesetzes vom 3. Juni 1946 über die öffentliche Beurkundung und die Beglaubigung in Zivilsachen (BeurkG/ZG) und entzog X._ für drei Monate die Beurkundungsbefugnis. Auf dessen Beschwerde hin reduzierte das Obergericht des Kantons Zug die Entzugsdauer auf zwei Monate. Die von X._ dagegen erhobene Beschwerde in öffentlich-rechtlichen Angelegenheiten hat das Bundesgericht am 4. April 2008 abgewiesen, soweit darauf einzutreten war (Urteil 2C_444/2007). Gestützt auf eine entsprechende Mitteilung der Aufsichtskommission über die Rechtsanwälte eröffnete das Untersuchungsrichteramt des Kantons Zug gegen X._ eine Strafuntersuchung. Mit Urteil vom 25. August 2008 sprach die Einzelrichterin am Strafgericht des Kantons Zug X._ der Urkundenfälschung im Amt (Art. 317 Ziff. 1 Abs. 2 StGB) schuldig und bestrafte ihn mit einer Geldstrafe von 120 Tagessätzen zu je Fr. 140.--, der Vollzug der Geldstrafe wurde aufgeschoben und eine Probezeit von zwei Jahren bestimmt. Die von X._ gegen dieses Urteil an das kantonale Obergericht gerichtete Berufung wurde am 28. April 2009 abgewiesen. Dieses Urteil ist in Rechtskraft erwachsen. Nach Kenntnisnahme dieses Urteils löschte die Aufsichtskommission über die Rechtsanwälte mit Beschluss vom 16. September 2009 X._ im Anwaltsregister und stellte fest, dass damit auch seine Beurkundungsbefugnis dahingefallen sei. Dessen gegen diesen Entscheid gerichtete Beschwerde wurde vom Obergericht des Kantons Zug am 17. Dezember 2009 abgewiesen. B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten beantragt X._ dem Bundesgericht im Wesentlichen, das Urteil des Obergerichts des Kantons Zug vom 17. Dezember 2009 aufzuheben und von einer Löschung des Registereintrages abzusehen. Die Aufsichtskommission über die Rechtsanwälte und das Obergericht des Kantons Zug beantragen, die Beschwerde abzuweisen, soweit darauf einzutreten sei. Das Bundesamt für Justiz schliesst sinngemäss ebenfalls auf Abweisung der Beschwerde.