Baubewilligung (Lärmschutz), hat sich ergeben:
A.- Das Restaurant Frohsinn in Oekingen war bis Ende 1996 während der Woche bis 23.30 Uhr, an den Wochenenden bis 00.30 Uhr geöffnet. Am 8. Januar 1997 erteilte die Gewerbe- und Handelspolizei des Kantons Solothurn unter Vorbehalt allfälliger weiterer Bewilligungen eine Nachtlokalbewilligung, womit die Öffnungszeit täglich bis 04.00 Uhr bewilligt wurde. Die Baukommission der Einwohnergemeinde Oekingen liess die neue Nutzung in einem baurechtlichen Bewilligungsverfahren (Änderung der Zweckbestimmung von Räumlichkeiten) publizieren. Gegen das Vorhaben gingen 33 Einsprachen ein, worunter von der Einwohnergemeinde Oekingen, H._ und G._. Mit Verfügung vom 22. Dezember 1997 entschied die Bau- und Planungskommission Oekingen in Gutheissung der Einsprachen, der Betrieb des Nachtlokals über die bestehende Nutzung als Gastwirtschaftsbetrieb hinaus sei nicht zonenkonform und werde nicht bewilligt. Zur Begründung führte die Kommission aus, das Restaurant befinde sich in der Lärmempfindlichkeitsstufe II gemäss Art. 43 Abs. 1 lit. b der Lärmschutz-Verordnung vom 15. Dezember 1986 (LSV; SR 814. 41).
Die von den Restaurantbesuchern verursachten Lärmimmissionen (Stimmen auf dem Parkplatz, Zuschlagen von Autotüren, Motorenstarten usw.) bis nachts um 4 Uhr seien mit dem Bedürfnis der Anwohner nach ungestörter Nachtruhe nicht vereinbar.
K._ als Eigentümer sowie C._ als damalige Patentinhaberin und Pächterin erhoben dagegen Beschwerde an das Bau-Departement des Kantons Solothurn. Während des Verfahrens traten L._ und B._ als neue Pächter des Restaurants an der Stelle von C._ in das Verfahren ein. Mit Verfügung vom 21. Oktober 1999 hiess das Bau-Departement die Beschwerde teilweise gut und bewilligte den Nachtlokalbetrieb samstags und sonntags bis 04.00 Uhr. Im Übrigen wies es die Beschwerde ab.
Die Einwohnergemeinde Oekingen, H._ und G._ gelangten mit Beschwerde an das Verwaltungsgericht des Kantons Solothurn. Sie beantragten, den Entscheid des Bau-Departements aufzuheben und den Beschluss der Baukommission Oekingen vom 22. Dezember 1997 zu schützen.
Das Verwaltungsgericht hiess die Beschwerde mit Urteil vom 5. Juni 2000 gut und hob die Verfügung des Bau-Departements vom 21. Oktober 1999 auf.
B.-K._, L._ und B._ beantragen beim Bundesgericht mit Verwaltungsgerichtsbeschwerde, das Urteil des Verwaltungsgerichts vom 5. Juni 2000 sei aufzuheben und der Entscheid des Bau-Departements vom 21. Oktober 1999 sei zu bestätigen.
Das Verwaltungsgericht des Kantons Solothurn schliesst auf Abweisung der Beschwerde. Den gleichen Antrag stellen die Einwohnergemeinde Oekingen sowie H._ und G._.
C.-Das gemäss Art. 110 OG zur Vernehmlassung eingeladene Bundesamt für Umwelt, Wald und Landschaft (BUWAL) kommt in seiner Stellungnahme zum Schluss, das Nachtlokal habe die von der Vorinstanz in korrekter Anwendung von Bundesumweltschutzrecht angeordneten Öffnungszeiten zu befolgen. Die Parteien haben Gelegenheit erhalten, dazu Stellung zu nehmen.
Sie halten an ihren Anträgen fest.
D.- Mit Präsidialverfügung vom 31. August 2000 wurde das Gesuch der Beschwerdeführer um aufschiebende Wirkung abgewiesen.

Das Bundesgericht zieht in Erwägung:
1.- a) Der angefochtene Entscheid stützt sich auf das Bundesgesetz vom 7. Oktober 1983 über den Umweltschutz (Umweltschutzgesetz, USG; SR 814. 01) bzw. auf die LSV, mithin auf öffentliches Recht des Bundes. Die Verwaltungsgerichtsbeschwerde gegen den letztinstanzlichen kantonalen Endentscheid ist daher zulässig (Art. 97 und Art. 98 lit. g OG).
Die Beschwerdeführer sind als Eigentümer bzw. Pächter des streitbetroffenen Restaurants zur Verwaltungsgerichtsbeschwerde legitimiert (Art. 103 lit. a OG). Als Beschwerdegegner werden auf dem Rubrum des angefochtenen Entscheids wie auch auf den Rechtsschriften nebst G._ auch 30 Mitunterzeichner genannt. Indessen befinden sich in den Akten nur Vollmachten der Einwohnergemeinde Oekingen sowie von H._ und G._. Nur diese drei Personen haben somit Parteistellung im bundesgerichtlichen Verfahren (Art. 29 Abs. 1 OG).
b) Mit Verwaltungsgerichtsbeschwerde können die Beschwerdeführer eine Verletzung von Bundesrecht einschliesslich Überschreitung oder Missbrauch des Ermessens oder eine unrichtige oder unvollständige Feststellung des rechtserheblichen Sachverhalts rügen (Art. 104 OG). Nachdem als Vorinstanz eine richterliche Behörde entschieden hat, ist das Bundesgericht indessen an die Feststellung des Sachverhalts gebunden, soweit dieser nicht offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt worden ist (Art. 105 Abs. 2 OG).
2.-a) Das Verwaltungsgericht hat einen Augenschein mit Parteibefragung und Zeugeneinvernahme durchgeführt und mehrere Polizeiberichte herangezogen. Gestützt darauf ist es zum Ergebnis gekommen, der Betrieb des Nachtlokals führe nach Mitternacht regelmässig zu Lärm, welcher den Schlaf der Anwohner störe oder verhindere. Störend seien die vibrierenden Bässe der im Restaurant gespielten Musik und das Verhalten der Gäste auf dem Parkplatz und in der Umgebung. Die Gäste des Restaurants würden trotz wiederholter Ermahnung der Betreiber das Nachtlärmverbot nicht einhalten. Die Vorinstanz hat sodann erwogen, das Restaurant liege in der Kernzone, in welcher nur nichtstörende Gewerbe- und Dienstleistungsbetriebe zulässig seien. Demnach gelte die Lärmempfindlichkeitsstufe II gemäss Lärmschutz-Verordnung. Nach den Zonenvorschriften seien Gastwirtschaftsbetriebe in der Kernzone zonenkonform, doch müssten diese nach dem kantonalen Wirtschaftsgesetz spätestens um 00.30 Uhr schliessen und dürften nach 22 Uhr (im Sommer: 23 Uhr) keinen Nachtlärm verursachen. Gemäss Berechnungen der kantonalen Lärmfachstelle halte der vom Parkplatz ausgehende Lärm knapp den Immissionsgrenzwert gemäss Anhang 6 LSV ein. Der Lärm der Gaststätte als Ganzes könne jedoch nicht einer der in den Anhängen der LSV geregelten Lärmart zugeordnet werden, sondern müsse im Einzelfall beurteilt werden. Dabei seien die Kriterien für neue Anlagen (<ref-law> und <ref-law>) zugrunde zu legen; es dürften somit höchstens geringfügige Störungen auftreten. Der Betrieb des Nachtlokals führe zu Immissionen, die in der Nacht mit Blick auf die Nutzungszone nicht geduldet werden müssten.
b) Die Beschwerdeführer rügen eine offensichtlich unrichtige Sachverhaltsfeststellung. Das Verwaltungsgericht habe sich durch Räubergeschichten der Beschwerdegegner beeindrucken lassen. Kriminelle Machenschaften seien jedoch nicht erwiesen. Die Polizei habe bei ihren zahlreichen Kontrollen die behaupteten Lärmemissionen nicht verifizieren können.
aa) Das Verwaltungsgericht hat nicht auf angebliche kriminelle Aktivitäten, sondern auf die Lärmemissionen abgestellt.
Ob im Restaurant Frohsinn illegale Machenschaften stattfinden, ist für die lärmschutzrechtliche Beurteilung unerheblich. Deshalb ist es nicht von Belang, ob solche Handlungen bewiesen sind.
bb) Gemäss dem bei den Akten liegenden Polizeirapport vom 10. März 1999 war in der Nacht vom 3./4. März 1999 der Musiklärm aus dem Restaurant Frohsinn ca. 100 Meter vom Restaurant entfernt noch gut hörbar. Nach der polizeilichen Strafanzeige vom 16. August 1999 konnten am 15. August 1999 in der Nacht in einer Entfernung von 300 Metern noch dumpfe Musikgeräusche (Bässe) wahrgenommen werden. Gemäss Polizeibericht vom 3. Mai 2000 herrscht während der ganzen Nacht ein stetes Kommen und Gehen, so dass die Nachtruhe für Anwohner gestört sein dürfte. Wohl führen andere Polizeiberichte aus, beim Eintreffen der Polizei sei keine strafrechtlich relevante Nachtruhestörung festzustellen gewesen.
Indessen kann ein Lärm auch dann lärmschutzrechtlich unzulässig sein, wenn er für eine strafrechtliche Verurteilung noch nicht ausreicht. Das Verwaltungsgericht hat zudem ausser auf die Polizeiberichte auch auf die Aussagen zahlreicher Anwohner abgestellt, die sich durch regelmässigen Lärm gestört fühlen. Insgesamt kann keine Rede von einer offensichtlich unrichtigen Sachverhaltsfeststellung sein.
c) Nach <ref-law> sind Emissionen im Rahmen der Vorsorge so weit zu begrenzen, als dies technisch und betrieblich möglich und wirtschaftlich tragbar ist (vorsorgliche Emissionsbegrenzung). Gemäss <ref-law> werden die Emissionsbegrenzungen verschärft, wenn feststeht oder zu erwarten ist, dass die Einwirkungen unter Berücksichtigung der bestehenden Umweltbelastung schädlich oder lästig werden (verschärfte Emissionsbegrenzung). Für die Beurteilung der schädlichen oder lästigen Einwirkungen legt der Bundesrat Immissionsgrenzwerte fest (<ref-law>). Diese sind so festzulegen, dass nach dem Stand der Wissenschaft oder der Erfahrung Immissionen unterhalb dieser Werte die Bevölkerung in ihrem Wohlbefinden nicht erheblich stören (<ref-law>). Neue ortsfeste Anlagen dürfen nur errichtet werden, wenn die durch diese Anlagen allein erzeugten Lärmimmissionen die Planungswerte in der Umgebung nicht überschreiten (<ref-law>). Diese liegen unter dem Immissionsgrenzwert (<ref-law>). Sind keine Belastungsgrenzwerte festgelegt oder fehlen die Voraussetzungen für deren Anwendung, so ist im Einzelfall nach den Kriterien von Art. 15, 19 und 23 USG zu beurteilen, ob eine Störung vorliegt (<ref-law>). Dies gilt namentlich für die Beurteilung des Lärms von Gaststätten, der durch eine Mischung aus menschlichem Verhalten und unregelmässigen Geräuschen bei Ankunft und Verlassen der Lokalitäten resultiert (<ref-ruling> E. 3c S. 226; <ref-ruling> E. 4d S. 333 ff.). Bei dieser Einzelfallbeurteilung sind der Charakter des Lärms, Zeitpunkt und Häufigkeit seines Auftretens sowie die Lärmempfindlichkeit und Lärmvorbelastung der Zone, in der die Immissionen auftreten, zu berücksichtigen. Handelt es sich um eine neue Anlage, muss der Betrieb mangels anwendbarer Planungswerte ein Immissionsniveau einhalten, bei welchem nach richterlicher Beurteilung höchstens geringfügige Störungen auftreten (BGE <ref-ruling> E. 4d/bb S. 335).
d) Fraglich ist, ob es sich beim streitigen Vorhaben um eine neue Anlage oder um eine wesentliche Änderung einer bestehenden Anlage handelt. Diese Frage stellt sich nur bei bestehenden Anlagen, die beim Inkrafttreten des Umweltschutzgesetzes des Bundes (1. Januar 1985) bereits erstellt oder zumindest bewilligt waren. Alle nach dem 1. Januar 1985 bewilligten und erstellten Anlagen gelten als neu, auch wenn viele Jahre später über eine Änderung zu befinden ist (Robert Wolf, Kommentar USG, N. 39 zu Art. 25). Als neue ortsfeste Anlagen gelten auch alle Anlagen, deren Zweck vollständig geändert wird (<ref-law>). Dies ist dann der Fall, wenn bestehende Anlagen in konstruktiver oder funktionaler Beziehung soweit verändert werden, dass das, was von der bisherigen Anlage weiterbesteht, von geringerer Bedeutung erscheint als der erneuerte Teil; für die Abgrenzung sind vor allem umweltrelevante Kriterien, im speziellen des Lärmschutzes, massgebend (<ref-ruling> E. 17a S. 670; <ref-ruling> E. 4c/aa S. 329; <ref-ruling> E. 5d/bb S. 443 f.; <ref-ruling> E. 5a S. 466). Vorliegend wird das Restaurant konstruktiv nicht oder nicht wesentlich geändert, wohl aber funktional: Bis Ende 1996 handelte es sich um ein gewöhnliches Restaurant, welches in der Nacht, nach der normalen Schliessungsstunde, keinen Lärm verursachte. Seither wird es als Nachtlokal geführt, das vom Abend bis am Morgen um 4 Uhr geöffnet ist. Im Hinblick auf die Zielsetzung des Lärmschutzes bedeutet die Umstellung von einem normalen Restaurant, von welchem während der Nacht keine Emissionen ausgehen, zu einem Nachtlokal, welches fast während der ganzen Nacht die mit einem solchen Lokal typischerweise verbundenen Immissionen verursacht, eine vollständige Zweckänderung (vgl. Urteil des Bundesgerichts vom 20. November 1998, URP 1999 S. 264, E. 3a). Mit Recht hat daher das Verwaltungsgericht das Vorhaben als Neuanlage im Lichte der Kriterien von <ref-law> bzw. <ref-law> geprüft.
e) In tatsächlicher Hinsicht ist davon auszugehen, dass der Betrieb des Restaurants regelmässig die Nachtruhe der Anwohner erheblich stört und beeinträchtigt. Dies stellt eine Belästigung im Sinne von <ref-law> bzw. eine erhebliche Störung des Wohlbefindens im Sinne von <ref-law> dar (<ref-ruling> E. 4b S. 229). Dies ist klarerweise während der Nacht in einem Gebiet, welches vorwiegend Wohnzwecken dient, nicht hinzunehmen, insbesondere nicht für neue Anlagen (<ref-law>; <ref-law>).
Das Bundesgericht hat in <ref-ruling> E. 4b auch für ein Gebiet der Empfindlichkeitsstufe III eine derartige Beeinträchtigung als unzulässig betrachtet. Umso mehr muss dies für die hier vorliegende Empfindlichkeitsstufe II gelten.
f) Die Beschwerdeführer machen insbesondere geltend, die Vorinstanz habe die wirtschaftliche Tragbarkeit und die Verhältnismässigkeit der Schliessung nicht geprüft.
Die angeordnete Massnahme komme praktisch einer Schliessung des Betriebs gleich, da ein grosser Teil des Umsatzes nach Mitternacht erwirtschaftet werde. Das Umweltschutzgesetz sei jedoch kein Verhinderungsgesetz, sondern ein Massnahmengesetz und könne nicht als Grundlage für eine Betriebsschliessung dienen.
aa) Da die vom streitigen Restaurant verursachten Einwirkungen schädlich oder zumindest lästig sind, sind nicht die Regeln für die vorsorgliche, sondern diejenigen für die verschärfte Emissionsbegrenzung anwendbar (<ref-law>). Anders als im Rahmen von <ref-law> ist für die verschärfte Emissionsbegrenzung das Kriterium der wirtschaftlichen Tragbarkeit nicht ausdrücklich genannt.
Wohl gilt der allgemeine Grundsatz der Verhältnismässigkeit (<ref-law>) auch hier, doch kann sich eine verschärfte Emissionsbegrenzung auch unabhängig von der wirtschaftlichen Tragbarkeit rechtfertigen (<ref-ruling> E. 3b S. 454; André Schrade/Theo Loretan, Kommentar USG, N. 43a zu Art. 11). Dass das Umweltschutzgesetz in erster Linie ein Massnahmengesetz ist (<ref-ruling> E. 4c/dd S. 309), schliesst nicht aus, dass gestützt darauf bestimmte Anlagen oder Tätigkeiten völlig verboten werden können, wenn anders der gesetzliche Schutz nicht erreicht werden kann. Insbesondere ist zu unterscheiden zwischen vorübergehenden, kurzfristigen Lärmbelastungen, die für besondere Anlässe im Rahmen einer Interessenabwägung zumutbar sind (<ref-ruling> E. 4c/dd S. 309), und regelmässig auftretendem Lärm, der dauernd in erheblichem Umfang störend wirkt (<ref-ruling> E. 4b S. 228). Derartige Lärmquellen sind aufgrund des Umweltschutzgesetzes unzulässig, auch wenn dies für die Inhaber der Anlagen mit erheblichen wirtschaftlichen Einbussen verbunden ist.
bb) Zudem ist zu bemerken, dass nach der gesetzlichen Regelung im Kanton Solothurn die Gastwirtschaftsbetriebe grundsätzlich um 00.30 Uhr schliessen müssen (§ 23 Abs. 1 des Gesetzes vom 9. Juni 1996 über das Gastgewerbe und den Handel mit alkoholhaltigen Getränken). Die Einhaltung der für alle gleichermassen geltenden allgemeinen Gesetze stellt grundsätzlich keine unzumutbare und unverhältnismässige Einschränkung dar. Die Beschwerdeführer haben in Kenntnis der örtlichen Gegebenheiten freiwillig den früheren traditionellen Gastwirtschaftsbetrieb in ein Nachtlokal umgewandelt.
Hinzu kommt, dass sie unrechtmässig bereits vor Vorliegen der erforderlichen baurechtlichen Bewilligung den Nachtlokalbetrieb aufgenommen haben. Den allfälligen Schaden, den sie durch die Einstellung dieses Betriebs jetzt erleiden, haben sie selbst zu vertreten.
cc) Unbehelflich ist der Einwand der Beschwerdeführer, eine mildere Massnahme könnte dem Ruhebedürfnis der Anwohner Rechnung tragen. Der Betrieb hat seit Jahren immer wieder zu Klagen und polizeilichen Interventionen Anlass gegeben.
Wären mildere Massnahmen als die Verweigerung der Bewilligung tauglich, so hätten diese von den Beschwerdeführern schon lange ergriffen werden müssen. Zudem entspricht es der allgemeinen Lebenserfahrung, dass bei Nachtlokalen der Lärm durch an- und wegfahrende Motorfahrzeuge und Gespräche der Gäste im Freien selbst bei bestem Willen der Wirtsleute nicht zuverlässig vermieden werden kann. Derartige Emissionen sind praktisch unvermeidlich mit solchen Anlagen verbunden (vgl. <ref-ruling> E. 4c/cc S. 308). Diese sind daher in Gebieten der Empfindlichkeitsstufe II grundsätzlich nicht zonenkonform.
3.- Die Verwaltungsgerichtsbeschwerde erweist sich damit als unbegründet, weshalb sie abzuweisen ist. Bei diesem Ausgang des bundesgerichtlichen Verfahrens sind die Gerichtskosten den Beschwerdeführern aufzuerlegen (Art. 156 Abs. 1 und 7 Art. 153 und Art. 153a OG). Diese haben zudem den Beschwerdegegnern für das bundesgerichtliche Verfahren eine Parteientschädigung unter solidarischer Haftbarkeit auszurichten (Art. 159 Abs. 2 und 5 in Verbindung mit Art. 156 Abs. 7 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 3'000.-- wird den Beschwerdeführern auferlegt.
3.- Die Beschwerdeführer haben die Beschwerdegegner für das bundesgerichtliche Verfahren mit Fr. 3'000.-- unter solidarischer Haftbarkeit zu entschädigen.
4.- Dieses Urteil wird den Parteien, dem Baudepartement und dem Verwaltungsgericht des Kantons Solothurn sowie dem Bundesamt für Umwelt, Wald und Landschaft schriftlich mitgeteilt.
_
Lausanne, 21. März 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Der Gerichtsschreiber: