Aufenthaltsbewilligung, hat sich ergeben:
A.- Der aus Bosnien-Herzegowina stammende D._, geboren am ***** 1972, reiste am 28. Juni 1992 als Kriegsflüchtling zu Besuchszwecken in die Schweiz ein. Am 14. Oktober 1992 wurde ihm im Rahmen der Aktion Bosnien-Herzegowina die Aufenthaltsbewilligung L erteilt, welche letztmals bis zum 30. April 1997 verlängert worden war. Am 18. Februar 1997 heiratete er A._ geb. K._, Inhaberin einer Niederlassungsbewilligung in der Schweiz, worauf er am 16. Mai 1997 im Rahmen des Familiennachzugs die Aufenthaltsbewilligung B erhielt, welche letztmals bis zum 31. Oktober 1999 verlängert wurde.
B.- Mit Verfügung vom 15. November 1999 lehnte die Fremdenpolizei des Kantons Luzern - nach vorgängiger Gewährung des rechtlichen Gehörs - das Gesuch vom 11. Oktober 1999 um Verlängerung der Aufenthaltsbewilligung von D._ ab, wies ihn weg und setzte ihm Frist bis 10. Januar 2000 zum Verlassen des Kantons Luzern. Zur Begründung fügte die Fremdenpolizei an, D._ lebe seit dem
10. Juni 1999 nicht mehr mit seiner Ehefrau zusammen, weshalb der ursprüngliche Zulassungszweck dahingefallen sei.
C.- Auf eine gegen die Verfügung der Fremdenpolizei vom 15. November 1999 gerichtete Verwaltungsgerichtsbeschwerde von D._ vom 30. November 1999 trat das Verwaltungsgericht des Kantons Luzern mit Urteil vom 18. Juli 2000 nicht ein. Es verneinte einen Anspruch auf Verlängerung der Aufenthaltsbewilligung, weshalb sich das Rechtsmittel gemäss dem massgeblichen kantonalen Verfahrensrecht als unzulässig erweise und die angefochtene Verfügung stattdessen mit Verwaltungsbeschwerde beim zuständigen Departement anzufechten gewesen wäre, an welches es die Sache in der Folge zur Erledigung überwies.
D.- Mit Eingabe vom 25. August 2000 hat D._ beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Er beantragt, der Entscheid des Verwaltungsgerichts des Kantons Luzern vom 18. Juli 2000 sei aufzuheben und die Sache an die Vorinstanz zurückzuweisen mit der Auflage, auf die (kantonale) Verwaltungsgerichtsbeschwerde einzutreten.
Das Verwaltungsgericht des Kantons Luzern schliesst auf Abweisung der Beschwerde. Das Bundesamt für Ausländerfragen beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
E.- Dem von D._ gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlichrechtlichen Abteilung vom 26. September 2000 insofern entsprochen, als den Behörden jegliche Vollziehungsmassnahme im Hinblick auf die Wegweisung von D._ untersagt wurde.

Das Bundesgericht zieht in Erwägung:
1.- a) Art. 100 Abs. 1 lit. b Ziff. 3 OG schliesst die Verwaltungsgerichtsbeschwerde auf dem Gebiete der Fremdenpolizei aus gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt.
Gemäss Art. 4 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) entscheiden die zuständigen Behörden, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung.
Es besteht damit grundsätzlich kein Anspruch auf Erteilung einer Aufenthaltsbewilligung, es sei denn, der Ausländer könne sich auf eine Sondernorm des Bundesrechts oder eines Staatsvertrages berufen (<ref-ruling> E. 2a S. 291, 361 E. 1a S. 364; <ref-ruling> E. 1b S. 147, je mit Hinweisen).
b) Nach Art. 17 Abs. 2 erster Satz ANAG hat ein Ausländer, dessen Ehegatte über die Niederlassungsbewilligung verfügt, Anspruch auf Erteilung und Verlängerung einer Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen.
Im Unterschied zu Ehen von Ausländern mit Schweizern (Art. 7 Abs. 1 erster Satz ANAG; vgl. dazu <ref-ruling> E. 3a-d S. 149 ff. sowie <ref-ruling> E. 2b S. 267 f.), hängt der gesetzliche Anspruch auf eine Aufenthaltsbewilligung an den Gatten eines niedergelassenen Ausländers nicht nur vom formellen Bestand der Ehe, sondern ebenfalls davon ab, dass die Ehegatten zusammen wohnen. Leben diese dagegen getrennt, so entfällt der Anspruch auf die Erteilung bzw.
Verlängerung der Aufenthaltsbewilligung (<ref-ruling> E. 3a S. 271 f.) und damit auch die Zulässigkeit der Verwaltungsgerichtsbeschwerde gegen die Verweigerung der Aufenthaltsbewilligung (<ref-ruling> E. 1 S. 26 mit Hinweis). Dass der soeben zitierte Entscheid im staatsrechtlichen Beschwerdeverfahren erging, bedeutet nicht, dass das Bundesgericht - wie der Beschwerdeführer unterstellt - die Zulässigkeit der Verwaltungsgerichtsbeschwerde dort nicht umfassend zu prüfen hatte, steht doch die staatsrechtliche Beschwerde überhaupt erst offen, wenn kein anderes Rechtsmittel beim Bund gegeben ist (Art. 84 Abs. 2 OG; <ref-ruling> E. 2a S. 271). Insofern kann von einer missverständlichen Praxis des Bundesgerichts nicht die Rede sein.
Der Beschwerdeführer lebt unbestrittenermassen nicht mehr mit seiner Ehefrau zusammen, weshalb sich die Verwaltungsgerichtsbeschwerde nach dem Gesagten mangels eines Anspruches auf die streitige Aufenthaltsbewilligung als unzulässig erweist. Die - diesbezüglich klare - Regelung von Art. 17 Abs. 2 erster Satz ANAG ist - entgegen der Auffassung des Beschwerdeführers - für das Bundesgericht verbindlich (<ref-law>); die von ihm als verletzt gerügten Verfassungsbestimmungen (Art. 8 Abs. 1 und 2, Art. 9 sowie 13 Abs. 1 BV) sind - jedenfalls hinsichtlich des vorliegenden Zusammenhangs - nicht derart konkret ausgestaltet, um als "neues Recht" unmittelbar gesetzesderogierende Wirkung zu entfalten und damit die bisherige Familiennachzugsordnung aus den Angeln zu heben. Eine Auseinandersetzung mit den gegen die erwähnte Bestimmung erhobenen Einwendungen erübrigt sich infolgedessen.
c) Art. 8 EMRK garantiert den Schutz des Familienlebens.
Gestützt darauf ist die Verwaltungsgerichtsbeschwerde des um die fremdenpolizeiliche Bewilligung ersuchenden Ausländers oder seiner hier anwesenden Verwandten zulässig, wenn diese über ein gefestigtes Anwesenheitsrecht (insbesondere Niederlassungsbewilligung) in der Schweiz verfügen und die familiäre Beziehung tatsächlich gelebt wird und intakt ist (<ref-ruling> E. 1b S. 364 mit Hinweisen). Gleiches gilt nach Massgabe von <ref-law>; diese Bestimmung vermittelt gegenüber Art. 8 EMRK im Bereich des Ausländerrechts keine zusätzlichen Ansprüche (vgl. das zur Publikation bestimmte Urteil vom 11. September 2000 i.S.
F.A., E. 7).
Der Beschwerdeführer lebt - was von ihm nicht bestritten wird - seit Juni 1999 nicht mehr mit seiner Ehefrau zusammen. Insofern kann von einer intakten ehelichen Beziehung nicht (mehr) gesprochen werden. Auch die Kontakte zu seinem Stiefkind werden - wie von der Vorinstanz festgehalten und vom Beschwerdeführer nicht bestritten - nicht mehr unterhalten. Liegt indessen kein Familienleben im Sinne von Art. 8 Ziff. 1 EMRK vor, so lässt sich aus der erwähnten Bestimmung auch kein Anspruch auf Erteilung einer fremdenpolizeilichen Anwesenheitsbewilligung ableiten. Dabei ist unerheblich, welcher der Ehepartner verantwortlich dafür ist, dass die Ehe nicht mehr gelebt wird (vgl. <ref-ruling> E. 4b S. 152 mit Hinweisen).
Schliesslich kann sich der Beschwerdeführer auch nicht auf das ebenfalls von Art. 8 Ziff. 1 EMRK umfasste Recht auf Achtung des Privatlebens berufen, bedürfte es doch hiezu gemäss bundesgerichtlicher Rechtsprechung besonders intensiver privater Beziehungen (<ref-ruling> E. 3b S. 22 sowie das zur Publikation bestimmte Urteil vom 11. September 2000 i.S. F.A., E. 2c), welche vorliegend nicht ersichtlich sind.
Aus <ref-law> (Recht auf Ehe und Familie) ergeben sich keine weitergehenden Ansprüche.
d) Ob es sich beim vorliegenden Nichteintretensentscheid des Verwaltungsgerichts - wie vom Beschwerdeführer behauptet - um einen blossen Zwischenentscheid (Art. 106 Abs. 1 OG) handelt, ist fraglich (vgl. <ref-ruling> E. 2c S. 545 mit Hinweisen), kann aber dahingestellt bleiben, da nach dem Gesagten auf die Verwaltungsgerichtsbeschwerde so oder so nicht einzutreten ist. Soweit der Beschwerdeführer den Nichteintretensentscheid des Verwaltungsgerichts wegen Rechtsverweigerung anficht, erweist sich die Verwaltungsgerichtsbeschwerde wegen des Grundsatzes der Einheit des Verfahrens ebenso als unzulässig (Art. 101 lit. a OG).
2.- a) Fehlt es an einem den Weg der Verwaltungsgerichtsbeschwerde ans Bundesgericht öffnenden Anspruch auf eine Aufenthaltsbewilligung, käme zwar subsidiär die staatsrechtliche Beschwerde in Betracht (Art. 84 Abs. 2 OG). Mangels Rechtsanspruch fehlt es aber im Hinblick auf die Verweigerung einer Anwesenheitsbewilligung am rechtlich geschützten Interesse (Art. 88 OG) und damit an der Legitimationsvoraussetzung für die Ergreifung dieses Rechtsmittels (<ref-ruling> E. 4-6 S. 87 ff.; <ref-ruling> E. 2 S. 192). Unabhängig von der Legitimation in der Sache selbst kann mit staatsrechtlicher Beschwerde eine Verletzung solcher Verfahrensgarantien geltend gemacht werden, deren Missachtung eine formelle Rechtsverweigerung darstellt (<ref-ruling> E. 3b S. 86 sowie E. 7b S. 94; <ref-ruling> E. 1b S. 270, je mit Hinweisen). Auch damit vermöchte der Beschwerdeführer indessen nicht durchzudringen.
b) Gemäss § 19 des kantonalen Gesetzes vom 1. Dezember 1948 über die Niederlassung und den Aufenthalt sowie über die Zwangsmassnahmen im Ausländerrecht (in der Fassung vom 13. März 1995) ist die (kantonale) Verwaltungsgerichtsbeschwerde zulässig gegen die Verweigerung von Bewilligungen, auf die das Bundesrecht einen Anspruch einräumt (Abs. 1 lit. a); in den übrigen Fällen ist die Verwaltungsbeschwerde an das zuständige Departement gegeben, wobei die kantonale Verwaltungsgerichtsbeschwerde gegen Beschwerdeentscheide ausgeschlossen ist (Abs. 2). Im Weiteren sieht § 148 lit. a des luzernischen Gesetzes vom 3. Juli 1972 über die Verwaltungsrechtspflege (in der Fassung vom 13. März 1995) - entsprechend den Anforderungen von Art. 98a OG - die (kantonale) Verwaltungsgerichtsbeschwerde für Entscheide vor, die mit (eidgenössischer) Verwaltungsgerichtsbeschwerde ans Bundesgericht weitergezogen werden können. Die Zuständigkeit des Verwaltungsgerichts ist damit - ebenso wie die Zulässigkeit der eidgenössischen Verwaltungsgerichtsbeschwerde - vom Vorliegen eines bundesrechtlichen Anspruches auf Erteilung einer fremdenpolizeilichen Bewilligung abhängig. Das trifft hier - wie bereits dargelegt wurde (oben E. 1) - nicht zu, weshalb der angefochtene Entscheid des Verwaltungsgerichts weder unter dem Gesichtswinkel von Art. 98a OG noch unter jenem der angerufenen Verfassungsbestimmungen zu beanstanden ist.
3.- Nach dem Gesagten ist auf die Verwaltungsgerichtsbeschwerde nicht einzutreten.
Bei diesem Verfahrensausgang hat der Beschwerdeführer als unterliegende Partei die Kosten des bundesgerichtlichen Verfahrens zu tragen (Art. 156 in Verbindung mit Art. 153 und 153a OG). Eine Parteientschädigung ist nicht geschuldet (Art. 159 Abs. 2 OG).

Demnach erkennt das Bundesgericht:
1.- Auf die Verwaltungsgerichtsbeschwerde wird nicht eingetreten.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei und dem Verwaltungsgericht (Verwaltungsrechtliche Abteilung) des Kantons Luzern sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 7. November 2000
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: