Art. 9 und 29 Abs. 2 BV (Namensänderung), hat sich ergeben:
A.- X._ und Z._ verheirateten sich am 12.
Januar 1995. Am 22. Februar 1995 wurde ihr gemeinsames Kind Y._ geboren. Am 10. Januar 1996 wurde die Ehe rechtskräftig geschieden und Y._ der Mutter zu Pflege und Erziehung zugewiesen. Mit Erklärung vom 29. Januar 1996 nahm diese ihren angestammten Familiennamen "X._" wieder an.
B.- Mit Eingabe vom 8. August 1998 ersuchte X._ die Direktion des Innern des Kantons Zug um Bewilligung der Änderung des Familiennamens ihres Sohnes Y._ in "X._". Die Direktion des Innern bewilligte die Namensänderung mit Verfügung vom 27. November 1998. Z._ erhob dagegen Beschwerde an den Regierungsrat des Kantons Zug und gegen dessen abschlägigen Entscheid Verwaltungsgerichtsbeschwerde an das Verwaltungsgericht des Kantons Zug, welche ebenfalls abgewiesen wurde.
C.- Gegen das Urteil des Verwaltungsgerichts hat Z._ sowohl staatsrechtliche Beschwerde als auch Berufung eingereicht. Auf Letztere ist das Bundesgericht mit Urteil vom 11. September 2000 nicht eingetreten. Mit seiner Beschwerde beantragt Z._ die Aufhebung des Urteils des Verwaltungsgerichts. Auf die Einholung von Stellungnahmen der Beschwerdegegner und des Verwaltungsgerichts wird verzichtet.

Das Bundesgericht zieht in Erwägung:
1.- Der Beschwerdeführer rügt die Verletzung seines Anspruches auf rechtliches Gehör (<ref-law>) und des Willkürverbots (<ref-law>). Nach der Rechtsprechung des Bundesgerichts hat er als Vater eines minderjährigen Kindes, das nach erfolgter Scheidung der Mutter zugesprochen wurde, im Verfahren um die Änderung von dessen Familiennamen einen Anspruch auf Gewährung des rechtlichen Gehörs (<ref-ruling> E. 2b S. 50 mit Hinweisen); zudem ist er im staatsrechtlichen Beschwerdeverfahren gegen einen die Namensänderung gutheissenden Entscheid auch zur Erhebung der Willkürrüge legitimiert (<ref-ruling> E. 1 S. 562 f. mit Hinweis).
2.- Im Zusammenhang mit der Rüge der Gehörsverletzung macht der Beschwerdeführer geltend, nach § 18 EG ZGB/ZG i.V.m. § 12 Verwaltungsrechtspflegegesetz/ZG hätten die zuständigen Behörden den Sachverhalt von Amtes wegen feststellen müssen; im angefochtenen Entscheid werde der Untersuchungsgrundsatz verschiedentlich verletzt, indem das Verwaltungsgericht darauf verzichtet habe, unklare Sachverhaltselemente durch Beweisaufnahmen von Amtes wegen zu klären. Das Bundesgericht überprüft die Anwendung kantonalen Rechts nur auf Willkür, welche aber in diesem Zusammenhang nicht geltend gemacht wird; auf die Rüge der Verletzung des Untersuchungsgrundsatzes ist somit nicht einzutreten.
3.- Der Beschwerdeführer wirft dem Verwaltungsgericht weiter vor, die von ihm bestrittene Sachverhaltsdarstellung der Beschwerdegegner ohne entsprechende Beweiserhebungen übernommen zu haben. Damit habe es seinen Gehörsanspruch verletzt und sei in Willkür verfallen.
a) Nach der ständigen Rechtsprechung des Bundesgerichts zu Art. 4 aBV, an der unter Geltung des revidierten <ref-law> festzuhalten ist, gewährt der verfassungsrechtliche Gehörsanspruch den Parteien insbesondere den Anspruch, sich vor Erlass eines in ihre Rechtsstellung eingreifenden Entscheids zur Sache zu äussern, erhebliche Beweise einzubringen, Einsicht in die Akten zu nehmen, mit erheblichen Beweisanträgen gehört zu werden oder an der Erhebung wesentlicher Beweise entweder mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 4 S. 17 f. mit Hinweis). Aus dem Äusserungsrecht der Parteien folgt auch deren Anspruch, mit rechtserheblichen Vorbringen gehört zu werden. Die urteilende Behörde hat daher die im Rahmen der Anhörung und Mitwirkung bei der Sachverhaltsabklärung von den Beteiligten beigebrachten Informationen, Argumente, Beweise und Beweisanträge zu prüfen und zu würdigen, soweit sie für die Entscheidfindung bedeutsam sind (<ref-ruling> E. 3b S. 333 mit Zitat). Soweit sich diese Rechte inhaltlich mit den aus <ref-law> abgeleiteten Ansprüchen decken, kann ihre Verletzung in berufungsfähigen Streitsachen nicht mit staatsrechtlicher Beschwerde gerügt werden (Art. 84 Abs. 2 OG). Da jedoch der angefochtene Entscheid nicht berufungsfähig ist (vgl. Urteil des Bundesgerichts vom 11. September 2000 im konnexen Berufungsverfahren 5C.180/2000), ist hier die Rüge der Gehörsverletzung insoweit zulässig. Dagegen erstreckt sich der aus dem Verbot der formellen Rechtsverweigerung fliessende Gehörsanspruch nicht auf die inhaltliche Würdigung der einzelnen Vorbringen; namentlich wird durch den Gehörsanspruch eine antizipierte Beweiswürdigung nicht ausgeschlossen.
Ihr setzt verfassungsrechtlich allein das Willkürverbot Schranken.
Gegen das neu in <ref-law> statuierte Willkürverbot verstösst ein Entscheid erst dann, wenn er nicht nur unrichtig, sondern offensichtlich unhaltbar ist (<ref-ruling> E. 3a S. 117; <ref-ruling> E. 1b S. 30, 129 E. 2 S. 130; <ref-ruling> E. 5b S. 106 mit Hinweisen). In der Würdigung der Beweise steht dem kantonalen Gericht ein breiter Ermessensspielraum zu (<ref-ruling> E. 2d S. 37; <ref-ruling> E. 1b S. 30; <ref-ruling> E. 3 S. 371; <ref-ruling> E. 5 S. 306). Eine Verletzung von <ref-law> liegt nur dann vor, wenn es sein Ermessen offensichtlich überschritten oder missbraucht hat (118 Ia 133 E. 2b S. 134; <ref-ruling> E. 2c S. 109). Dies ist insbesondere dann der Fall, wenn es unhaltbare Schlüsse gezogen (BGE <ref-ruling> E. 5 S. 306) oder erhebliche Beweise ausser Acht gelassen hat (vgl. BGE <ref-ruling> E. 1b S. 30; <ref-ruling> E. 3 S. 371). Der Verzicht auf die Abnahme beantragter Beweismittel ist u.a. zulässig, wenn der Beweis offensichtlich untauglich ist, über die streitige Tatsache Beweis zu erbringen, weil das angerufene Beweismittel dazu seiner Natur nach überhaupt nicht geeignet ist, oder weil es am bereits feststehenden Beweisergebnis zweifellos nichts mehr zu ändern vermöchte (<ref-ruling> E. 4a S. 211; <ref-ruling> E. 4b S. 269; <ref-ruling> E. 5b S. 101).
b) Im Einzelnen rügt der Beschwerdeführer zunächst, das Verwaltungsgericht habe angenommen, er sei seinen Alimentenverpflichtungen gegenüber seinem Sohn nicht nachgekommen, obwohl er dargelegt habe, dass sämtliche Ausstände bezahlt seien, und Beweise dafür angeboten habe. Das Verwaltungsgericht habe ferner nicht geprüft, weshalb es vorübergehend zu Ausständen gekommen sei und ob man aus diesen zu Recht habe schliessen können, dass er sich nicht um seinen Sohn bemüht habe.
Das Verwaltungsgericht hat festgehalten, der Beschwerdeführer habe die geschuldeten Unterhaltsleistungen nicht oder nicht immer rechtzeitig erbracht, wiewohl er heute behaupte, dass inzwischen alle Zahlungen geleistet worden seien. Diese Feststellungen decken sich mit der eigenen Darstellung des Beschwerdeführers nur insoweit nicht, als das Verwaltungsgericht darauf verzichtete, Beweise darüber zu erheben, ob die Zahlungsausstände inzwischen behoben seien.
Es ist nicht zu beanstanden, dass das Verwaltungsgericht diese Frage als nicht entscheiderheblich erachtete, ging es doch um die Abklärung der Frage, ob sich der Beschwerdeführer in der Zeit seit der Geburt seines Sohnes - und nicht erst im Vorfeld des vorliegenden Prozesses - um diesen bemüht habe.
Im Hinblick auf die Gründe für die Zahlungsausstände legt der Beschwerdeführer weder dar, dass und welche Beweisanträge er im Verfahren vor dem Verwaltungsgericht diesbezüglich stellte, noch, inwiefern die nicht näher umschriebenen Gründe sich auf die implizite Annahme des Verwaltungsgerichts, die unregelmässigen Unterhaltszahlungen sprächen gegen eine enge familiäre Beziehung zwischen dem Beschwerdeführer und seinem Sohn, ausgewirkt hätten. Damit kommt er den in Art. 90 Abs. 1 lit. b OG statuierten Anforderungen an die Begründung einer staatsrechtlichen Beschwerde nicht nach. Das Bundesgericht prüft gestützt auf diese Bestimmung nur klar und detailliert erhobene und, soweit möglich, belegte Rügen (<ref-ruling> E. 1b S. 67; <ref-ruling> E. 4b S. 11; <ref-ruling> E. 3 S. 185).
Auf die Rüge ist somit nicht einzutreten.
c) Weiter macht der Beschwerdeführer geltend, das Verwaltungsgericht habe das Bestehen einer Bindung Y._'s zu ihm verneint und angenommen, die Mutter sei seine einzige familiäre Bezugsperson, ohne dass dies aber - etwa durch Befragung oder Begutachtung des Kindes oder durch Einholung einer Amtsauskunft durch die Vormundschaftsbehörde - abgeklärt worden sei. Es habe auch nicht untersucht, weshalb der Beschwerdeführer sein Besuchsrecht erst seit gut einem Jahr regelmässig wahrnehme. Sodann habe es die Behauptung der Kindsmutter, der Beschwerdeführer habe sie und das Kind bedroht bzw. es sei anlässlich eines Besuches zu massiven Meinungsverschiedenheiten gekommen, ohne jede Abklärung in ihren Entscheid übernommen.
Das Verwaltungsgericht hat das Fehlen einer familiären Bindung zwischen Y._ und dem Beschwerdeführer im Wesentlichen gestützt auf die Tatsache verneint, dass der Beschwerdeführer seinen Sohn erstmals ein Jahr nach seiner Geburt und danach sehr selten besucht habe. Dass der Beschwerdeführer seinen Sohn seit einem Jahr regelmässig besucht, geht aus dem angefochtenen Entscheid nicht hervor, und der Beschwerdeführer erhebt diesbezüglich keine substanziierten Rügen; nach dem Gesagten ist insbesondere auf die Rüge der Verletzung des Untersuchungsgrundsatzes nicht einzutreten.
Angesichts dieser Umstände erscheint es sehr unwahrscheinlich, dass die erwähnten Beweisaufnahmen ergäben, der heute Fünfjährige habe trotz äusserst seltenen persönlichen Kontakten eine Bindung zu seinem Vater aufgebaut. Es verstiess daher nicht gegen das Willkürverbot, wenn das Verwaltungsgericht in antizipierter Beweiswürdigung auf solche Beweisaufnahmen verzichtete. Ob auf die spärlich substanziierte Rüge im Lichte der Begründungsanforderungen von Art. 90 Abs. 1 lit. b OG (vgl. E. 3b) überhaupt einzutreten wäre, kann damit offen bleiben. Nicht einzutreten ist auf die Rüge, das Verwaltungsgericht habe ohne Sachverhaltsabklärungen angenommen, dass es im Rahmen eines Besuchs zu Meinungsverschiedenheiten zwischen den Eltern gekommen sei, legt doch der Beschwerdeführer nicht dar, inwiefern diese Frage entscheidrelevant wäre. Von einer Bedrohung von Mutter und Kind durch den Beschwerdeführer ist im angefochtenen Urteil nicht die Rede.
d) Der Beschwerdeführer rügt weiter, die im Entscheid des Regierungsrates getroffene Annahme, bei Verweigerung der Namensänderung werde sich Y._ von seiner Mutter entfremdet finden, wodurch seine gesunde und stabile Entwicklung gefährdet werde, entbehre jeder Grundlage. Dasselbe gelte für die Feststellung im angefochtenen Entscheid des Verwaltungsgerichts, Y._ habe ein grosses Interesse daran, nicht den Namen tragen zu müssen, den er zwar mit seinem Vater verbinde, der aber für ihn nicht die Identifikation mit seiner engsten Familie bedeute. Inwieweit die gesunde und stabile Entwicklung gefährdet werde, führe das Verwaltungsgericht nicht aus.
Da mit der staatsrechtlichen Beschwerde abgesehen von hier nicht gegebenen Ausnahmen nur letztinstanzliche Entscheide angefochten werden können, ist auf die gegen den Entscheid des Regierungsrates gerichteten Rügen nicht einzutreten.
Aus den gegen den Entscheid des Verwaltungsgerichts gewendeten Ausführungen geht nicht hervor, welches verfassungsmässige Recht nach Ansicht des Beschwerdeführers und inwiefern es verletzt sein soll. Damit kommt er den Anforderungen an die Begründung einer staatsrechlichen Beschwerde nach Art. 90 Abs. 1 lit. b OG (vgl. E. 3b) nicht nach. Auf die Rüge ist demnach nicht einzutreten.
4.- Der Beschwerdeführer wirft dem Verwaltungsgericht zudem vor, <ref-law> willkürlich angewendet zu haben. Die Bewilligung der Änderung des Familiennamens eines Kindes bedinge, dass ihm im Falle der Beibehaltung ernsthafte und konkrete Nachteile zu erwachsen drohten. Dabei sei zu berücksichtigen, dass der unterschiedliche Familienname von Mutter und Kind angesichts der gewandelten gesellschaftlichen Verhältnisse nicht mehr ohne weiteres als stigmatisierend zu betrachten sei. Das Verwaltungsgericht erblicke den wichtigen Grund für die Namensänderung allein in der vagen Vermutung, die fehlende Namenseinheit zwischen Y._ und seiner Mutter könnte für seine gesunde und stabile Entwicklung ungünstig sein. Es sei aber nicht ersichtlich, inwiefern dies konkret der Fall sein sollte. Insbesondere leuchte nicht ein, inwiefern sein vom Namen der Mutter abweichender Familienname Y._'s Identifikation mit der engsten Familie beeinträchtige.
Vielmehr sei es im Interesse des Kindes, dass seine Herkunft nicht verschleiert werde.
Die Behauptung des Beschwerdeführers, seine Kontakte zu Y._ seien wenigstens im Verlauf des letzten Jahres intensiver geworden, können auch hier nicht gehört werden (vgl. E. 3c). Im Übrigen erschöpfen sich die Vorbringen des Beschwerdeführers in appellatorischer Kritik. Entgegen seiner Ansicht ist plausibel, dass sich ein Kind auch über seinen Namen identifiziert und es daher seine Stabilität gefährden kann, wenn es einen anderen Namen trägt als die Person, welche ihm als Mutter und als einzige wirklich gelebte familiäre Bindung am nächsten steht. Ob eine andere als die vom Verwaltungsgericht getroffene Lösung ebenfalls vertretbar oder gar vorzuziehen gewesen wäre, ist hier nicht zu prüfen. Massgebend ist einzig, ob der angefochtene Entscheid stossend und geradezu unhaltbar war; dies vermag aber der Beschwerdeführer nicht darzutun.
5.- Nach dem Gesagten ist die Beschwerde abzuweisen, soweit darauf einzutreten ist. Bei diesem Verfahrensausgang hat der Beschwerdeführer die Gerichtskosten zu tragen (Art. 156 Abs. 1 OG). Da auf die Einholung einer Vernehmlassung der Beschwerdegegner verzichtet worden ist, erübrigt sich der Zuspruch einer Parteientschädigung an diese.

Demnach erkennt das Bundesgericht:
1.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die Gerichtsgebühr von Fr. 1'500.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird den Parteien und dem Verwaltungsgericht des Kantons Zug, verwaltungsrechtliche Kammer, schriftlich mitgeteilt.
_
Lausanne, 28. September 2000
Im Namen der II. Zivilabteilung des
SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: