Baubewilligung Tankstelle, hat sich ergeben:
A.- Vom 15. März bis zum 3. April 1997 legte der Stadtrat Rheinfelden ein Baugesuch der Y._ AG für den Abbruch der bestehenden Bauten und den Neubau einer Tankstelle mit Shop, Waschanlage, Lanzenwäsche, Hypometer (zwei Staubsauger) und Bürocontainer für den Occasionsverkauf von Fahrzeugen auf Parzelle Nr. XXX öffentlich auf. Diese Parzelle liegt gemäss geltendem Zonenplan der Stadt Rheinfelden vom 28. April 1983/26. November 1986 in der Zone Wohnen/Kleingewerbe (WG) 4A. Gemäss Art. 14 der Bau- und Nutzungsordnung der Stadt Rheinfelden (BNO) vom 31. März/14. November 1995 ist in der Zone WG 4A die folgende Nutzung zulässig: "Wohnen, wenig störendes Kleingewerbe mit Wohnbaucharakter". Gestützt auf Art. 43 der Lärmschutz-Verordnung vom 15. Dezember 1986 (LSV; SR 814. 41) wurde die Zone WG 4A der Empfindlichkeitsstufe (ES) III zugeordnet (Art. 48 Abs. 2 BNO).
B.- Gegen das Bauvorhaben erhoben X._ und die Z._ AG Einsprache beim Stadtrat Rheinfelden. Gestützt auf die Teilentscheide der Baugesuchszentrale (heute: Koordinationsstelle Baugesuche) vom 21. Juli und 7. Oktober 1997 erteilte der Stadtrat Rheinfelden der Y._ AG mit Beschluss vom 8. Dezember 1997 die Baubewilligung unter verschiedenen Auflagen und Bedingungen und wies die Einsprachen von X._ und der Z._ AG ab. Die von diesen dagegen erhobenen Verwaltungsbeschwerden wies der Regierungsrat des Kantons Aargau mit Entscheid vom 17. Juni 1998 ab.
Am 24. August 1998 focht X._ den Entscheid des Regierungsrates mit Verwaltungsgerichtsbeschwerde beim Verwaltungsgericht des Kantons Aargau an. Dieses wies die Beschwerde mit Urteil vom 8. Dezember 1999 ab.
C.- Gegen den Entscheid des Verwaltungsgerichts erhob X._ am 13. Juni 2000 beim Bundesgericht sowohl Verwaltungsgerichtsbeschwerde als auch staatsrechtliche Beschwerde.
Er stellt den Antrag, das vorinstanzliche Urteil sei vollumfänglich aufzuheben und die Baubewilligung des Stadtrates Rheinfelden vom 18. Dezember 1997 "abzuweisen", eventualiter sei auch der Entscheid des Regierungsrates des Kantons Aargau vom 17. Juni 1998 aufzuheben und die Sache zur Neubeurteilung an die Vorinstanzen zurückzuweisen. Zudem ersucht er um Erteilung der aufschiebenden Wirkung der Beschwerden.
D.- Die Y._ AG beantragt in ihrer Vernehmlassung vom 29. Juni 2000, es sei auf die Verwaltungsgerichtsbeschwerde nicht einzutreten, eventualiter sei sie vollumfänglich abzuweisen. In ihrer Stellungnahme zur staatsrechtlichen Beschwerde verlangt sie deren vollumfängliche Abweisung.
Der Stadtrat Rheinfelden stellt am 5. Juli 2000 den Antrag, die Beschwerden seien vollumfänglich abzuweisen.
Das Verwaltungsgericht des Kantons Aargau verzichtet auf eine Vernehmlassung und verweist auf die Erwägungen im angefochtenen Entscheid. Das Bundesamt für Umwelt, Wald und Landschaft (BUWAL) hält in seiner Vernehmlassung vom 22. September 2000 zusammenfassend fest, dass keine gesamthafte Beurteilung der Lärmemissionen unter Berücksichtigung aller Anlageteile stattgefunden habe. Die vorliegende Lärmprognose sei somit ergänzungsbedürftig. Sämtlichen am Verfahren Beteiligten ist hierauf die Gelegenheit eingeräumt worden, sich dazu zu äussern. Die Y._ AG bringt in ihrer Stellungnahme vom 31. Oktober 2000 neu vor, dass sie auf den Occasionshandel verzichte und sie mit einer Einschränkung der Öffnungszeiten bis 20.00 Uhr für die Lanzenwaschanlage und den Hypometer einverstanden sei.
E.- Mit Entscheid vom 19. Juli 2000 wies das präsidierende Mitglied der I. öffentlichrechtlichen Abteilung das Gesuch um aufschiebende Wirkung der Beschwerde ab.
F.- Am 30. März 2001 führte eine Delegation des Bundesgerichts in Rheinfelden einen Augenschein an Ort und Stelle mit anschliessender Instruktionsverhandlung durch.

Das Bundesgericht zieht in Erwägung:
1.- Das Bundesgericht prüft von Amtes wegen und mit freier Kognition, ob Verwaltungsgerichtsbeschwerde und/oder staatsrechtliche Beschwerde gegeben ist. Entsprechend der subsidiären Natur der staatsrechtlichen Beschwerde ist zunächst zu prüfen, ob die Verwaltungsgerichtsbeschwerde offen steht (<ref-ruling> E. 1a S. 290; <ref-ruling> E. 1a S. 74 mit Hinweisen).
a) Die Verwaltungsgerichtsbeschwerde ist zulässig gegen Verfügungen, die sich auf öffentliches Recht des Bundes stützen oder hätten stützen sollen (<ref-law> in Verbindung mit Art. 97 OG), sofern diese von den in Art. 98 OG genannten Vorinstanzen erlassen worden sind und keiner der in Art. 99 ff. OG oder in der Spezialgesetzgebung vorgesehenen Ausschlussgründe vorliegt. Dies gilt auch für gemischtrechtliche Verfügungen, die sowohl auf kantonalem bzw. kommunalem als auch auf Bundesrecht beruhen, falls und insoweit die Verletzung von unmittelbar anwendbarem Bundesrecht in Frage steht (BGE <ref-ruling> E. 1b S. 75; <ref-ruling> E. 2a S. 29; <ref-ruling> E. 2a S. 389). Zu dem im Rahmen der Verwaltungsgerichtsbeschwerde überprüfbaren Bundesrecht gehört auch das Bundesverfassungsrecht, soweit die Rüge eine Angelegenheit betrifft, die in die Sachzuständigkeit der eidgenössischen Verwaltungsrechtspflegeinstanzen fällt. Im Verfahren der Verwaltungsgerichtsbeschwerde sind auch auf unselbständiges kantonales Ausführungsrecht zum Bundesrecht gestützte Anordnungen zu überprüfen sowie auf übrigem kantonalem Recht beruhende Anordnungen, die einen hinreichend engen Sachzusammenhang mit den im Rahmen der Verwaltungsgerichtsbeschwerde zu beurteilenden Fragen des Bundesverwaltungsrechts aufweisen. Soweit jedoch dem angefochtenen Entscheid selbständiges kantonales Recht ohne den genannten Sachzusammenhang zum Bundesrecht zugrunde liegt, steht ausschliesslich die staatsrechtliche Beschwerde zur Verfügung (<ref-ruling> E. 1a S. 291; <ref-ruling> E. 1b S. 75; <ref-ruling> E. 2a S. 29; <ref-ruling> E. 1b S. 382, <ref-ruling> E. 2a S. 389).
b) Umstritten ist die Baubewilligung für eine Tankstelle mit verschiedenen Nebenbetrieben. Der Beschwerdeführer ist der Ansicht, dass die Bewilligung dem Bundesgesetz über den Umweltschutz vom 7. Oktober 1983 (Umweltschutzgesetz [USG], SR 814. 01) und dessen Verordnungsrecht, namentlich der Lärmschutz-Verordnung (LSV) widerspricht und zudem mangels Zonenkonformität auch Art. 14 BNO verletzt. Entgegen der Auffassung der Beschwerdegegnerin geht es demnach nicht bloss um die Anwendung von kommunalem und kantonalem Raumplanungs- und Baurecht, sondern auch um umweltschutzrechtliche Bestimmungen des Bundes.
aa) Mit dem Inkrafttreten des Umweltschutzgesetzes am 1. Januar 1985 hat das kantonale und kommunale Recht betreffend den direkten Schutz vor Immissionen seine selbständige Bedeutung verloren, soweit sich sein materieller Gehalt mit dem Bundesrecht deckt oder weniger weit geht als dieses; es hat sie dort behalten, wo es die bundesrechtlichen Normen ergänzt oder, soweit erlaubt, verschärft (vgl. <ref-law>; <ref-ruling> E. 1b S. 114; <ref-ruling> E. 3a S. 595 mit Hinweisen). In diesem Sinne haben entsprechende kantonale oder kommunale Nutzungsvorschriften weitgehend ihre Selbständigkeit verloren.
Städtebauliche Nutzungsvorschriften des kantonalen und kommunalen Rechts haben jedoch nach wie vor selbständigen Gehalt, soweit sie die Frage regeln, ob eine Baute am vorgesehenen Ort erstellt und ihrer Zweckbestimmung übergeben werden darf. Namentlich ist es weiterhin Sache des kantonalen und kommunalen Rechts, die für den Charakter eines Quartiers wesentlichen Vorschriften über Nutzungsart und -intensität zu erlassen. Kantonal- und kommunalrechtliche Begriffe wie "wenig oder mässig störendes Gewerbe" können daher trotz des erwähnten Inkrafttretens des Umweltschutzrechtes des Bundes noch eine selbständige Bedeutung behalten. So lassen sich etwa Bauten und Betriebe, die mit dem Charakter einer Wohnzone unvereinbar sind, untersagen, auch wenn die Lärmimmissionen, zu denen sie führen, bundesrechtliche Schranken nicht überschreiten, sofern die Unzulässigkeit nicht einzig mit der konkreten Lärmbelästigung begründet wird. Auch erfasst das Umweltschutzrecht des Bundes nicht alle erdenklichen Auswirkungen oder Sekundärimmissionen.
bb) Soweit der Beschwerdeführer geltend macht, der angefochtene Entscheid des Verwaltungsgerichts verletze umweltschutzrechtliche Bestimmungen des Bundes, kann diese Rüge mit Verwaltungsgerichtsbeschwerde erhoben werden (<ref-ruling> E. 1a S. 385). Als Eigentümer des Mehrfamilienhauses auf YYY, die unmittelbar westlich an die Parzelle Nr. XXX der Beschwerdegegnerin angrenzt, ist er zur Verwaltungsgerichtsbeschwerde legitimiert (Art. 103 lit. a OG). Der Beschwerdeführer ist ebenfalls legitimiert, mit Verwaltungsgerichtsbeschwerde die Verletzung allgemeiner Verfahrensgarantien (Art. 29 Abs. 1 und 2 BV) geltend zu machen (BGE <ref-ruling> E. 1c S. 383).
Der Beschwerdeführer bestreitet sodann die Zonenkonformität des bewilligten Projektes. Dieses lasse sich mit dem Wohnbaucharakter und dem Begriff "Kleingewerbe" im Sinne von Art. 14 BNO nicht mehr in Einklang bringen. Im Vordergrund steht hierbei die Frage der zulässigen Nutzungsart und -intensität in der Zone WG 4A gemäss Art. 14 BNO. Insoweit weist diese Bestimmung keinen hinreichend engen Sachzusammenhang mit den im Rahmen der Verwaltungsgerichtsbeschwerde zu beurteilenden Fragen des Bundesverwaltungsrechts auf, so dass für diesen Teilbereich ausschliesslich die staatsrechtliche Beschwerde zur Verfügung steht (BGE <ref-ruling> E. 1b S. 383).
I. Verwaltungsgerichtsbeschwerde
2.- Der Beschwerdeführer macht - wie schon vor Verwaltungsgericht - eine Verletzung seines Anspruchs auf rechtliches Gehör gemäss <ref-law> geltend, weil er im Gegensatz zu der ebenfalls Beschwerde führenden Z._ AG nicht zu dem vom regierungsrätlichen Rechtsdienst durchgeführten Augenschein eingeladen wurde. Das Verwaltungsgericht bejahte eine Verletzung des rechtlichen Gehörs durch den Regierungsrat; es betrachtete diese aber im Verfahren vor Verwaltungsgericht mit der Begründung als geheilt, dass sonst klarerweise ein prozessualer Leerlauf betrieben würde. Der Beschwerdeführer vertritt die Auffassung, eine solche Heilung sei aufgrund der Schwere der Gehörsverletzung und der eingeschränkten Kognition des Verwaltungsgerichts nicht zulässig. Indem die Vorinstanz den regierungsrätlichen Entscheid nicht aufgehoben habe, seien ihm die Antrags- und Mitwirkungsrechte am erstmalig stattgefundenen Augenschein unwiederbringlich verloren gegangen und zudem sei er dadurch einer Instanz beraubt worden. Diese Rüge ist aufgrund der formellen Natur des Gehörsanspruchs vorweg zu behandeln (<ref-ruling> E. 4a S. 183; <ref-ruling> E. 3 S. 152; <ref-ruling> E. 2 S. 210; <ref-ruling> E. 1a S. 18).
Den weiteren Rügen, die Vorgehensweise des regierungsrätlichen Rechtsdienstes habe den Gleichbehandlungsgrundsatz zwischen den Verfahrensparteien und Grundsätze des fairen Verfahrens (<ref-law>) verletzt, kommt neben der Rüge der Gehörsverletzung keine selbständige Bedeutung zu.
a) Der Umfang des Anspruchs auf rechtliches Gehör wird zunächst durch die kantonalen Verfahrensvorschriften umschrieben; erst wo sich dieser Rechtsschutz als ungenügend erweist, greifen die unmittelbar aus <ref-law> fliessenden bundesrechtlichen Minimalgarantien Platz. In den vorliegenden Beschwerden wird nicht behauptet, das Vorgehen der Vorinstanzen verletze irgendwelche kantonalen Verfahrensvorschriften.
Es ist daher einzig - und zwar mit voller Kognition - zu prüfen, ob unmittelbar aus <ref-law> folgende Ansprüche missachtet worden sind (<ref-ruling> E. 2a S. 21 f., 15 E. 2a S. 16; <ref-ruling> E. 3a S. 98).
b) Der in <ref-law> normierte Anspruch auf rechtliches Gehör umfasst die Rechte der Parteien auf Teilnahme am Verfahren und auf Einflussnahme auf den Prozess der Entscheidfindung. In diesem Sinne dient das rechtliche Gehör einerseits der Sachaufklärung, andererseits stellt es ein persönlichkeitsbezogenes Mitwirkungsrecht beim Erlass eines Entscheides dar, welcher in die Rechtsstellung des Einzelnen eingreift. Dazu gehört auch das Recht, an der Erhebung wesentlicher Beweise mitzuwirken oder sich zumindest zum Beweisergebnis zu äussern, wenn dieses geeignet ist, den Entscheid zu beeinflussen (<ref-ruling> E. 2 S. 242; <ref-ruling> E. 4a S. 152; <ref-ruling> E. 1a S. 360; <ref-ruling> E. 6a S. 261). Im Verwaltungsverfahren gilt dieses Mitwirkungs- und Äusserungsrecht des Betroffenen namentlich im Zusammenhang mit der Durchführung eines Augenscheins. Dient die Ortsbesichtigung dazu, einen streitigen, unabgeklärten Sachverhalt festzustellen, so müssen die am Verfahren Beteiligten aufgrund von <ref-law> zum Augenschein beigezogen werden. Infolgedessen darf auf diese Beweismittel nicht abgestellt werden, ohne dem Betroffenen Gelegenheit zu geben, an der Beweisabnahme mitzuwirken oder wenigstens nachträglich zum Beweisergebnis Stellung zu nehmen. Ein Augenschein darf nur dann unter Ausschluss einer Partei erfolgen, wenn schützenswerte Interessen Dritter oder des Staates oder eine besondere Dringlichkeit dies gebieten, oder wenn der Augenschein seinen Zweck überhaupt nur dann erfüllen kann, wenn er unangemeldet erfolgt (BGE <ref-ruling> E. 4a und 4b S. 152 f.; <ref-ruling> E. 3b S. 99 f.). Derartige Gründe liegen hier nicht vor.
c) Der vom Rechtsdienst des Regierungsrates am 26. März 1998 durchgeführte Augenschein diente in erster Linie der Sachverhaltsklärung hinsichtlich der von der Z._ AG bemängelten verkehrsmässigen Erschliessung der geplanten Tankstelle. Der Beschwerdeführer hatte in seiner Verwaltungsbeschwerde an den Regierungsrat zur Hauptsache die mangelnde Zonenkonformität des Bauprojektes gerügt.
Wie das Verwaltungsgericht zu Recht festhält, bestehen indessen zwischen der Frage der Erschliessung und derjenigen der Zonenkonformität Berührungspunkte. Zu Beginn des regierungsrätlichen Augenscheins wurde denn auch über die Zonierung gesprochen. Aus der Eingabe des Beschwerdeführers geht zudem hervor, dass er auch die von der geplanten Tankstelle mit Nebenbetrieben zu erwartenden Lärmimmissionen in Frage stellte. Der enge Sachzusammenhang zwischen seiner Beschwerde und derjenigen der Z._ AG ist offensichtlich. Dies brachte denn auch der Rechtsdienst des Regierungsrates mit der Vereinigung der beiden Beschwerdeverfahren selbst zum Ausdruck. Zu Beginn des Augenscheins wurde festgestellt, dass die Parzelle Nr. XXX der Beschwerdegegnerin in der Zone Wohnen/Kleingewerbe liege. Diese Tatsache ergibt sich bereits aus dem geltenden Zonenplan. Sie war somit nicht mehr beweisbedürftig. Insoweit ist eine Verletzung des rechtlichen Gehörs zu verneinen. Zur Sprache kam anlässlich des Augenscheins auch die Baubewilligungspraxis des Stadtrates Rheinfelden. Dieser wies darauf hin, dass es in der Zone Wohnen/Kleingewerbe noch mehrere Tankstellen gebe; die Z._ AG sei Beweis dafür. Der Beschwerdeführer konnte dazu nicht Stellung nehmen. Es war ihm insbesondere verwehrt, sich zu den von der Baubewilligungsbehörde genannten Beispielen zu äussern, auf allfällige ihm wesentlich erscheinende Unterschiede hinzuweisen und seinerseits Beweise zur Stützung seines Standpunktes zu erbringen oder zu beantragen.
Ebenso war ihm eine entsprechende Beweisführung im Zusammenhang mit den Lärmimmissionen nicht möglich, was sich unter Umständen aufgrund der Diskussionen über die verkehrsmässige Erschliessung hätte aufdrängen können. Wie sich am Augenschein des Verwaltungs- und des Bundesgerichts zeigte, stört sich der Beschwerdeführer auch an der geplanten Ein- und Ausfahrt an der Zürcherstrasse und der damit verbundenen Lärmbelastung für sein Mehrfamilienhaus, dessen Balkone sich in relativer Nähe der vorgesehenen Zufahrt befinden.
Zum Zeitpunkt der öffentlichen Auflage des Baugesuches war neben der Ein- und Ausfahrt an der Zürcherstrasse (K 292) noch eine weitere Ausfahrt an der Riburgerstrasse (K 495) geplant (vgl. Umgebungsplan vom 20. Februar 1997 mit Stempel der Baugesuchszentrale vom 14. März 1997). Die Bauherrschaft rückte von dieser Lösung aus verkehrstechnischen Gründen später ab (vgl. Protokoll des regierungsrätlichen Augenscheins, S. 2 f. und 7).
Die am regierungsrätlichen Augenschein Beteiligten diskutierten die Erschliessung in erster Linie unter dem Gesichtspunkt der Verkehrssicherheit. Der Beschwerdeführer hätte auch die immissionsmässigen Auswirkungen der Erschliessung auf sein Mehrfamilienhaus zur Diskussion stellen können. Entgegen der Auffassung der Beschwerdegegnerin wurden dem Beschwerdeführer die Mitwirkungsrechte an der Ermittlung feststellungsbedürftiger Tatsachen verwehrt. Das Verwaltungsgericht bejahte denn auch zu Recht eine Verletzung des rechtlichen Gehörs.
d) Zu prüfen bleibt, ob dieser Mangel im verwaltungsgerichtlichen Verfahren mit der Durchführung eines Augenscheins geheilt wurde. Eine Heilung in einem Rechtsmittelverfahren ist nur ausnahmsweise möglich; dies hängt namentlich von der Schwere und Tragweite der Gehörsverletzung sowie davon ab, ob die Rechtsmittelinstanz den angefochtenen Entscheid in rechtlicher und tatsächlicher Hinsicht frei überprüfen kann (<ref-ruling> E. 2 S. 72; <ref-ruling> E. 4a S. 183; <ref-ruling> E. 2b S. 363; <ref-ruling> E. 2 S. 95).
Gemäss § 49 des aargauischen Gesetzes vom 9. Juli 1968 über die Verwaltungsrechtspflege (VRPG; SAR 271. 100) verfügt der Regierungsrat als Beschwerdeinstanz über eine umfassende Überprüfungsbefugnis. Mit Verwaltungsbeschwerde können alle Mängel des Verfahrens und der angefochtenen Verfügungen oder Entscheide geltend gemacht werden. Vor Verwaltungsgericht können unrichtige oder unvollständige Sachverhaltsfeststellung und Rechtsverletzung einschliesslich Ermessensmissbrauch und Ermessensüberschreitung gerügt werden (§ 56 Abs. 1 VRPG). Die Kognition des Verwaltungsgerichts ist hingegen insofern eingeschränkt als eine Ermessenskontrolle grundsätzlich ausgeschlossen ist (§ 56 Abs. 2 VRPG).
Bei Immissionsfragen überprüft das Verwaltungsgericht allerdings auch die Handhabung des Ermessens (§ 56 Abs. 2 lit. f VRPG).
Der vom Rechtsdienst des Regierungsrates durchgeführte Augenschein diente vor allem der Sachverhaltsermittlung im Zusammenhang mit der verkehrsmässigen Erschliessung.
In Sachverhaltsfragen verfügt das Verwaltungsgericht über die gleiche Kognition wie der Regierungsrat.
Auch in Immissionsfragen ist die Kognition des Verwaltungsgerichts nicht eingeschränkt. Fraglich ist einzig, ob das Verwaltungsgericht die Zonenkonformität des Tankstellenprojektes weniger weitgehend überprüfen konnte als der Regierungsrat.
Bei der Prüfung, ob ein Bauvorhaben den Nutzungsvorschriften entspricht, handelt es sich um eine Rechts- und nicht um eine Ermessensfrage. Dies gilt auch dann, wenn die entsprechenden Zonenvorschriften - wie im vorliegenden Fall - unbestimmte Gesetzesbegriffe ("wenig störendes Kleingewerbe", "Wohnbaucharakter") enthalten. Den Baubewilligungsbehörden kommt in diesem Fall allenfalls ein Beurteilungsspielraum zu. Bei der Überprüfung der Anwendung offen formulierter Nutzungsvorschriften, welche die Gemeinde in ihrem Autonomiebereich erlassen hat, hat sich allerdings auch der Regierungsrat eine gewisse Zurückhaltung aufzuerlegen.
Die Kognition des Verwaltungsgerichts ist folglich auch hinsichtlich der Zonenkonformität nicht eingeschränkter als jene des Regierungsrates.
Zu prüfen ist schliesslich die Schwere und Tragweite der Gehörsverletzung. Das Verwaltungsgericht führte am 8. Dezember 1999 in Anwesenheit des Beschwerdeführers selber einen Augenschein durch. Wie aus dem entsprechenden Protokoll hervorgeht, wurden anhand eines detaillierten Fragenkatalogs Probleme der Zonenkonformität und der lärmmässigen Auswirkungen des Bauvorhabens eingehend erörtert.
Nochmals angesprochen wurde dabei auch die verkehrsmässige Erschliessung. Der Beschwerdeführer hatte Gelegenheit, sich zu allen Punkten zu äussern. Angesichts dieser Umstände und angesichts der Tatsache, dass die Kognition des Verwaltungsgerichts gegenüber jener des Regierungsrats in den hier interessierenden Fragen nicht eingeschränkt war, kann die Gehörsverletzung als geheilt betrachtet werden (zur vorinstanzlichen Kostenverlegung im Zusammenhang mit der Gehörsverletzung vgl. hinten E. 7). Eine Verletzung von <ref-law> liegt folglich nicht vor.
3.- Die bewilligte Tankstelle mit Nebenbetrieben liegt in der Zone WG 4A, welche der Empfindlichkeitsstufe (ES) III zugeordnet worden ist (Art. 48 Abs. 2 BNO). Der Beschwerdeführer rügt das legislatorische Vorgehen bei dieser Zuordnung.
In einer ersten Phase sei die Teilrevision der Bauordnung mit Zuordnung der Empfindlichkeitsstufen vorgenommen worden und erst in einer zweiten Phase erfolge die Gesamtrevision der Zonenvorschriften. Mit der Aufhebung der kommunalen Immissionsvorschriften und der Zuteilung der Immissionsgrenzwerte gemäss Lärmschutzverordnung sei entscheidend in die Bestimmung der Zonierung eingegriffen worden.
Die Empfindlichkeitsstufen sind wichtiges Bindeglied zwischen Raumplanung und Lärmschutzrecht. Mit dem Instrument der Empfindlichkeitsstufen knüpft die Lärmschutzverordnung für die Festlegung der Belastungsgrenzwerte an die Vorgaben der Nutzungsplanung an. Die Empfindlichkeitsstufen sind zwar ein Instrument des Lärmschutzrechts, gleichzeitig aber Bestandteil der Nutzungsplanung (Art. 44 Abs. 1 und 2 LSV; Urteil des Bundesgerichts vom 23. März 1995, in ZBl 97/1996 407 E. 4a). Dementsprechend kommen bei der Zuordnung der Empfindlichkeitsstufen zu den Nutzflächen der Zonenordnung sowohl Grundsätze des Lärmschutzrechts als auch des Raumplanungsrechts zur Anwendung. In formeller Hinsicht sind die Empfindlichkeitsstufen Bestandteil der Nutzungspläne und werden im planungsrechtlichen Verfahren festgelegt; es gelten die Anforderungen des Raumplanungsgesetzes hinsichtlich Mitwirkung der Bevölkerung (Art. 4 RPG), Planauflage und Rechtsschutz (Art. 33 RPG) sowie Genehmigung durch eine kantonale Behörde (Art. 26 RPG; <ref-ruling> E. 2c S. 187; Robert Wolf, USG-Kommentar, N. 40 zu Vorbemerkungen zu Art. 19-25). Einwände gegen die Zweiteilung der Baugesetzesrevision bzw. die Zuordnung der Zone WG 4A in die ES III in der ersten Revisionsphase hätte der Beschwerdeführer demnach in diesem Verfahren vorbringen müssen. Im vorliegenden Baubewilligungsverfahren kann diese Frage nicht mehr überprüft werden (<ref-ruling> E. 6a S. 137; <ref-ruling> E. 3c S. 387; <ref-ruling> E. 3b S. 211; <ref-ruling> E. 4c S. 341; <ref-ruling> E. 3 385). In diesem Punkte ist somit auf die Beschwerde nicht einzutreten.
4.- Der Beschwerdeführer macht des Weiteren geltend, mit der erteilten Baubewilligung würden das Umweltschutzgesetz und die Lärmschutzverordnung verletzt. Bedenken bestünden insbesondere bezüglich der Immissionen, welche von der Tankstelle mit den acht Zapfsäulen, dem Shop mit einer Fläche von 80 m2, der Waschanlage, der Lanzenwäsche sowie dem Handel mit Occasionsfahrzeugen auf seine Nachbarparzelle ausgehen würden. Für den Occasionshandel seien keinerlei Einschränkungen und Auflagen verfügt worden. Viele Interessenten würden das Areal zur Besichtigung der angebotenen Occasionsfahrzeuge aufsuchen und im eigenen Fahrzeug ihre Besichtigungstour (Drive-in-Prinzip) durchführen. Mangels geregelter Öffnungszeiten könne dieser Mehrverkehr zu allen Tages- und Nachtzeiten anfallen.
a) Soweit der Beschwerdeführer eine Verletzung von umweltschutzrechtlichen Bestimmungen des Bundes rügt, ist auf die Verwaltungsgerichtsbeschwerde einzutreten (Art. 104 lit. a OG). Mit dem Verzicht der Beschwerdegegnerin auf den Occasionshandel (vgl. Vernehmlassung der Y._ AG vom 31. Oktober 2000, S. 3 und Protokoll des bundesgerichtlichen Augenscheins vom 30. März 2001, S. 6) ist die Beschwerde hinsichtlich der durch diesen Anlageteil zu erwartenden Immissionen allerdings gegenstandslos geworden (vgl. dazu auch E. 8).
b) Das Bundesgesetz über den Umweltschutz soll unter anderem Menschen gegen schädliche oder lästige Einwirkungen schützen (<ref-law>). Das geltende Recht sieht die Begrenzung solch unerwünschter Einwirkungen wie etwa Luftverunreinigung oder Lärm an der Quelle nach einem zweistufigen Konzept vor: Zunächst sind unabhängig von der bestehenden Umweltbelastung die Emissionen im Rahmen der Vorsorge so weit zu begrenzen, als dies technisch und betrieblich möglich und wirtschaftlich tragbar ist (<ref-law>). In einem zweiten Schritt sind die Emissionsbeschränkungen zu verschärfen, wenn feststeht oder zu erwarten ist, dass die Einwirkungen unter Berücksichtigung der bestehenden Umweltbelastung schädlich oder lästig werden (<ref-law>; BGE <ref-ruling> E. 3a S. 386; <ref-ruling> E. 5b S. 32, 234 E. 2a S. 238).
Für die Beurteilung dessen, was als schädlich oder lästig gilt und somit zu verschärften Emissionsbegrenzungen führt, ist auf die Immissionsgrenzwerte abzustellen, die der Bundesrat durch Verordnung festgelegt hat (<ref-law>). Für den Lärm sind die Belastungsgrenzwerte (Planungs-, Immissionsgrenz- und Alarmwerte) der LSV massgebend. Darin wird die zulässige Lärmbelastung nach den Hauptemissionsquellen und vier verschiedenen Empfindlichkeitsstufen differenziert festgelegt.
c) Die Zone WG 4A, in der die Nutzung "Wohnen, wenig störendes Kleingewerbe mit Wohnbaucharakter" zulässig ist, stellt eine Mischzone dar, welche nach Massgabe von <ref-law> der Empfindlichkeitsstufe III zugeordnet worden ist (Art. 48 Abs. 2 BNO). Bei der bewilligten Tankstelle mit Nebenbetrieben handelt es sich um eine ortsfeste Anlage im Sinne von <ref-law> und <ref-law>, bei deren Betrieb Lärm, eine Einwirkung im Sinne von <ref-law>, verursacht wird (vgl. <ref-ruling> E. 3a S. 77 f.; 325 E. 4a/aa S. 327). Als neue Anlage fällt sie unter <ref-law> und <ref-law>. Gemäss dem für Gewerbelärm massgebenden Anhang 6 der LSV gelten demnach als Belastungsgrenzwerte die Planungswerte von 60 dB(A) bei Tag (07 bis 19 Uhr) und 50 dB(A) bei Nacht (19 bis 07 Uhr).
Nach <ref-law> dürfen ortsfeste Anlagen nur errichtet werden, wenn die durch diese Anlagen allein erzeugten Lärmimmissionen die Planungswerte in der Umgebung nicht überschreiten. Die Einwirkungen sind gemäss <ref-law> sowohl einzeln als auch gesamthaft und nach ihrem Zusammenwirken zu beurteilen. Es sind alle Emissionen zu berücksichtigen, die durch die bestimmungsgemässe Nutzung einer Anlage verursacht werden (<ref-ruling> E. 4a/bb S. 327 f.). Die Aussenlärmimmissionen ortsfester Anlagen werden durch Berechnungen oder Messungen ermittelt und als Beurteilungspegel Lr oder Lmax umschrieben (<ref-law>). Dieser ist nach <ref-law> den in den Anhängen zur Lärmschutzverordnung festgelegten Belastungsgrenzwerten gegenüberzustellen.
Die Vollzugsbehörde ist allerdings nur dann verpflichtet, die Aussenlärmimmissionen ortsfester Anlagen anhand einer Lärmprognose zu ermitteln, wenn sie Grund zur Annahme hat, dass die massgebenden Belastungsgrenzwerte überschritten werden (<ref-law>, <ref-law>). Die Beurteilung der Frage, ob eine Überschreitung dieser Werte anzunehmen ist, verlangt eine vorweggenommene Würdigung der Lärmsituation, bei welcher der zuständigen Behörde ein gewisser Ermessensspielraum zusteht (vgl. <ref-ruling> E. 3a S. 451).
d) Für die Autowaschanlage und die Lanzenwaschplätze liegt eine Lärmprognose des Ingenieurbüros G._, vor. Dieses hielt in seinem Bericht vom 25. Februar 1997 fest, dass sich bezüglich Autowaschanlage für das nächstgelegene Wohnhaus auf Parzelle Nr. ZZZ an der Ostfassade ein Beurteilungspegel von 50/46 dB(A) (Tag/Nacht) bei geschlossenem Ausfahrtstor ergebe und bei den Lanzenwaschplätzen der Beurteilungspegel bei 49/45 dB(A) (Tag/ Nacht) liege. Für die Autowaschanlage und die Lanzenwaschplätze zusammen resultiere ein Beurteilungspegel von 53/48 dB(A) (Tag/Nacht). Der Planungswert von 60/50 dB(A) (Tag/ Nacht) werde damit eingehalten.
Diese Berechnungen beruhen gemäss Gutachten auf den Annahmen, dass während des Betriebs der Waschanlage das Tor auf der Westseite geschlossen bleibt und bei den Lanzenwaschplätzen die Untersicht der Überdachung schallabsorbierend verkleidet ist. Empfohlen wurde, die Waschanlage ebenfalls mit einer schallabsorbierenden Deckenverkleidung zu versehen. Der Stadtrat Rheinfelden nahm diese Annahmen und die Empfehlung als Auflagen in die Baubewilligung vom 8. Dezember 1997 auf. Für die übrigen Anlageteile, d.h. die Tankstelle mit acht Zapfsäulen, den Shop von 80 m2, den Hypometer und den inzwischen nicht mehr aktuellen Autooccasionshandel wurde keine Lärmprognose erstellt. Hinsichtlich der Tankstelle führte das Verwaltungsgericht aus, es werde mit rund 400 bis 500 Fahrzeugen täglich gerechnet, welche die Tankstelle aufsuchten. Bei einer solchen Kundenfrequenz könne die Ermittlungspflicht in antizipierter Beweiswürdigung verneint werden. Der massgebende Planungswert von 60 dB(A) bei Tag und 50 dB(A) bei Nacht werde mit Sicherheit nicht erreicht. Während des Tankvorganges werde zudem der Motor abgestellt.
Das BUWAL gibt in seiner Vernehmlassung zu bedenken, von einer Tankstelle gingen wesentliche Lärmimmissionen aus, die nicht unberücksichtigt bleiben könnten. Typische Betriebsvorgänge seien etwa Türenschlagen, Motorstart, Benzinanlieferung durch Tankwagen und verhaltensbezogene Geräusche wie Hupen, lauter Radiobetrieb und Rufen. Mit Blick auf den Hypometer und die Lanzenwaschanlage weist das BUWAL darauf hin, dass der Schallleistungspegel bei diesen Anlageteilen bei ca. 80 dB(A) liege. Neben der grossen Lautstärke falle auch der sehr hohe Tongehalt dieser Anlageteile ins Gewicht. Die Störwirkung dieser Anlageteile sei besonders am späteren Abend gross. Das BUWAL hält fest, dass keine gesamthafte Beurteilung der Lärmemissionen unter Berücksichtigung sämtlicher Anlageteile stattgefunden habe. Es erachtet die vorliegende Lärmprognose als ergänzungsbedürftig.
e) Das Bundesgericht ist nicht an die Sachverhaltsfeststellung einer richterlichen Vorinstanz gebunden, wenn diese den Sachverhalt offensichtlich unrichtig, unvollständig oder unter Verletzung wesentlicher Verfahrensbestimmungen festgestellt hat (Art. 105 Abs. 2 OG). Im vorliegenden Fall nahm das Verwaltungsgericht - soweit dies aus dem Urteil hervorgeht - keine gesamthafte Würdigung der Lärmsituation unter Einschluss aller Anlageteile des vorgesehenen Projektes vor. Es trug insbesondere den vom Hypometer erzeugten Immissionen nicht Rechnung. Insoweit wurde der Sachverhalt nicht vollständig festgestellt. Da dem Bundesgericht folglich eine freie Sachverhaltsprüfung zusteht, kann es auch Veränderungen des Sachverhalts berücksichtigen, die erst nach dem Erlass des angefochtenen Entscheids eingetreten sind (vgl. <ref-ruling> E. 1b S. 4; <ref-ruling> E. 1c S. 99 f.). Dies betrifft namentlich die von der Beschwerdegegnerin in ihrer Vernehmlassung vom 31. Oktober 2000 gemachten und am bundesgerichtlichen Augenschein bestätigten Zugeständnisse, nämlich der Verzicht auf den Occasionshandel und die Einschränkung der Öffnungszeiten bis 20.00 Uhr für die Lanzenwaschanlage und den Hypometer.
f) Hinsichtlich der vorliegenden Lärmprognose ist zu beachten, dass die G._ AG bei der Ermittlung der Beurteilungspegel für die Autowaschanlage und die Lanzenwaschplätze noch davon ausgegangen ist, dass beide Anlageteile werktags von 06.00 bis 22.00 Uhr geöffnet sind (vgl.
Bericht vom 25. Februar 1997, S. 2). In der Baubewilligung vom 8. Dezember 1997 wurden die Öffnungszeiten der Waschanlage wie folgt eingeschränkt: Montag-Freitag: 08.30 - 17.30 Uhr; Samstag: 08.30 - 16.30 Uhr. Für die Lanzenwaschplätze wurden folgende Öffnungszeiten verfügt: Montag-Freitag 07.00 - 22.00 Uhr; Samstag: 07.00 - 20.00 Uhr. Nach den Zusagen der Beschwerdegegnerin sollen die Lanzenwaschplätze werktags nun immer nur noch bis 20.00 Uhr offen sein. Die Einschränkungen der Öffnungszeiten haben zur Folge, dass die Autowaschanlage nur noch während des Tages und die Lanzenwaschplätze darüber hinaus noch während einer Stunde zur Nachtzeit (19. 00 - 20.00 Uhr) benutzt werden können. Der aufgrund der ursprünglich längeren Öffnungszeiten für beide Anlageteile zusammen ermittelte Beurteilungspegel von 53/48 dB(A) (Tag/Nacht) muss namentlich für die Nacht nach unten korrigiert werden. Der Nachtwert liegt sicher unter 45 dB(A), da die Waschanlage nachts nicht mehr offen ist.
Nach den Angaben des BUWAL liegt der Schallleistungspegel für die Lanzenwaschanlage und den Hypometer bei ca. 80 dB(A). Hinsichtlich des Tongehalts erachtet das BUWAL die beiden Anlageteile offenbar als vergleichbar. Die G._ AG ist für eine Lanzenwaschbox von einem Emissionspegel von ca. 86 dB(A) ausgegangen und hat für die beiden Lanzenwaschplätze einen Beurteilungspegel von 49/45 dB(A) Tag/Nacht errechnet. Der Beurteilungspegel für den Hypometer dürfte in einem ähnlichen Bereich liegen, wobei auch dieser Pegel wegen den nun eingeschränkten Öffungszeiten tiefer angesetzt werden müsste. Ferner ist zu beachten, dass die Staubsaugerstationen, die ursprünglich nahe an der Grenze zur Parzelle des Beschwerdeführers vorgesehen waren, auf die andere Seite des Baugrundstückes verlegt wurden. Zumindest das Haus des Beschwerdeführers dürfte von dieser Lärmquelle kaum mehr stark betroffen sein.
Bezüglich der Tankstelle ist die Feststellung des Verwaltungsgerichts, dass bei der zu erwartenden Frequenz von 400 bis 500 tankenden Fahrzeugen pro Tag die Planungswerte mit Sicherheit nicht erreicht werden, nicht zu beanstanden.
Der vorgesehene Shop dürfte zudem immissionsmässig kaum ins Gewicht fallen. Zu beachten sind ferner die vorgesehenen Lärmschutzmassnahmen. So wird die Tankstelle überdacht und zwischen dem Dach des Shops und dem Tankstellendach ein Lärmverschluss angebracht. Ausserdem ist eine Lärmschutzwand von 2 m Höhe vorgesehen. Des Weiteren soll durch das Anbringen einer Kette verhindert werden, dass das Tankstellengelände als Durchgangsstrasse benutzt wird. Zu berücksichtigen ist auch, dass die Ein- und Ausfahrt an der Zürcherstrasse (K 292) einzig für die tankenden Fahrzeuge zugänglich ist. Für die Tanklastwagen ist ein separater Zugang von der Riburgerstrasse (K 495) her vorgesehen.
Aufgrund des durchgeführten Augenscheins, der vorgesehenen Lärmschutzmassnahmen, der Einschränkungen der Öffnungszeiten, der Verlegung des Hypometers, des Wegfalls des Occasionshandels und unter Berücksichtigung der Lärmemissionen sämtlicher Anlageteile ist davon auszugehen, dass die von der Anlage allein erzeugten Lärmimmissionen die massgebenden Planungswerte von 60 dB(A) bei Tag und 50 dB(A) bei Nacht nicht überschreiten werden. Eine Ergänzung der Lärmprognose ist deshalb nicht erforderlich. Im Rahmen einer Gesamtbetrachtung ist auch der speziellen Verkehrssituation am Ort der projektierten Tankstelle Rechnung zu tragen.
Diese liegt im Kreuzungspunkt der K 291 in Richtung Autobahnauffahrt und der K 292 in Richtung Stadt, die täglich von je ca. 16'000 resp. 12'000 Fahrzeugen befahren werden. Der Lärmpegel des Verkehrs auf dem bestehenden Strassennetz ist - wovon sich das Bundesgericht am Augenschein selber überzeugen konnte - bereits so hoch, dass die von der Tankstelle ausgehenden Immissionen kaum stark ins Gewicht fallen werden.
Aus diesem Grund erweist sich die exakte Ermittlung der Immissionen einzelner Anlageteile auch als unverhältnismässig.
Die Beschwerdegegnerin ist allerdings bei ihrer in der Vernehmlassung vom 31. Oktober 2000 gemachten Aussage zu behaften, dass sie nach Erstellung der Baute allenfalls geforderte Lärmmessungen akzeptiert und zusätzliche Lärmschutzmassnahmen ergreift, sollten die Belastungsgrenzwerte überschritten sein.
5.- Als Zwischenergebnis ist somit festzuhalten, dass das Verwaltungsgericht mit der Durchführung eines Augenscheins die Verletzung des Anspruchs des Beschwerdeführers auf rechtliches Gehör geheilt hat. Folglich liegt keine Verletzung von <ref-law> vor. Ferner wurden auch keine umweltschutzrechtlichen Bestimmungen des Bundes verletzt.
Die Verwaltungsgerichtsbeschwerde ist somit abzuweisen, soweit darauf eingetreten werden kann.
II. Staatsrechtliche Beschwerde
6.- Nach den Erwägungen des Verwaltungsgerichts ist die extensive kommunale Auslegung von Art. 14 BNO mit deren Sinn nicht geradezu unvereinbar. Die Zonenkonformität des Bauvorhabens in der Zone WG 4A sei daher zu bejahen. Der Beschwerdeführer wendet dagegen ein, das Verwaltungsgericht habe damit durch Lückenfüllung Art. 14 BNO arg überstrapaziert und sei in Willkür verfallen. Das streitige Projekt könne aufgrund seiner Dimensionierung und der zu erwartenden Immissionen nicht mehr als "Kleingewerbe" im Sinne von Art. 14 BNO qualifiziert werden. Zudem fehle es am geforderten Wohnbaucharakter. Der vorinstanzliche Entscheid sei offensichtlich unhaltbar, stehe mit der tatsächlichen Situation in klarem Widerspruch und verletze Art. 14 BNO in krasser Weise. Der Beschwerdeführer ist legitimiert, staatsrechtliche Beschwerde zu erheben, geht es doch um die Frage der zulässigen Nutzungsart und des Baucharakters in der Zone WG 4A (Art. 88 OG).
a) Willkür liegt nach der Rechtsprechung nicht schon vor, wenn eine andere Lösung ebenfalls vertretbar erscheint oder sogar vorzuziehen wäre. Das Bundesgericht weicht vom Entscheid der kantonalen Behörde nur ab, wenn dieser offensichtlich unhaltbar, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Es greift nur ein, wenn die Auslegung nicht nur unrichtig, sondern auch im Ergebnis schlechterdings unhaltbar ist (<ref-ruling> E. 3a S. 15, 129 E. 5b S. 134). Wirft der Beschwerdeführer der kantonalen Behörde vor, sie habe mit der vorgenommenen Anwendung des kantonalen Rechts <ref-law> verletzt, so genügt es nicht, wenn er einfach behauptet, der angefochtene Entscheid sei willkürlich. Bei der Rechtsanwendungsrüge hat der Beschwerdeführer vielmehr die Rechtsnorm, die qualifiziert unrichtig angewandt bzw. nicht angewandt worden sein soll, zu bezeichnen und zudem anhand der angefochtenen Subsumtion im Einzelnen zu zeigen, inwiefern der Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem und offensichtlichem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Der Grundsatz der richterlichen Rechtsanwendung (iura novit curia) findet somit im Bereich der Verfassungsbeschwerde keine Anwendung. Der Richter beschränkt sich ausschliesslich auf die Prüfung der rechtsgenügend vorgebrachten Rügen (<ref-ruling> E. 2a S. 3 f.).
b) Zu den Immissionen führte das Verwaltungsgericht aus, die Formulierung "wenig störendes Kleingewerbe" enthalte mit "wenig störend" und "Kleingewerbe" gleich zwei unbestimmte Rechtsbegriffe, die vom Wortlaut her einen erheblichen Interpretationsspielraum offen liessen. Auch sei nicht ohne weiteres klar, was unter dem "Wohnbaucharakter" eines Kleingewerbes zu verstehen sei. Insgesamt lasse der mehrfach restriktiv formulierte Wortlaut von Art. 14 BNO vordergründig vermuten, dass Gewerbebetriebe nur sehr beschränkt zulässig seien und die durch sie verursachten Einwirkungen nur eine geringe Intensität erreichen dürften.
Dies stehe allerdings in einem gewissen Widerspruch zu Art. 48 Abs. 2 BO, wonach der Zone WG 4A lärmmässig die Empfindlichkeitsstufe III zugeordnet worden sei. Diese Empfindlichkeitsstufe gelte gemäss <ref-law> in Zonen, in denen mässig störende Betriebe zugelassen seien, namentlich in Wohn- und Gewerbezonen (Mischzonen) sowie Landwirtschaftszonen.
Damit dränge sich der Schluss auf, dass "wenig störend" im Sinne von Art. 14 BNO gleichbedeutend sei mit "mässig störend" im Sinne von Art. 48 BNO in Verbindung mit <ref-law>. Zum selben Ergebnis führe auch eine systematische Betrachtung von Art. 14 BNO. Daraus schliesst das Verwaltungsgericht, dass in den Zonen "Wohnen-Kleingewerbe" trotz des einschränkenden Wortlautes Gewerbebetriebe, die sich auf die Wohnnutzung mässig störend auswirken, grundsätzlich ihren Platz finden sollen. Entscheidend für die Zulässigkeit sei offensichtlich nicht so sehr die Immissionsträchtigkeit eines Betriebes als seine Dimensionierung ("Kleingewerbe") und seine (optische) Eingliederung in die Wohnbauten ("Wohnbaucharakter").
Soweit der Beschwerdeführer dagegen vorbringt, die Tankstelle mit den Nebenbetrieben bringe einen sehr erheblichen Mehrverkehr, der zu entsprechend starken Immissionen führen werde, vermag seine Eingabe dem im staatsrechtlichen Beschwerdeverfahren geltenden qualifizierten Rügeprinzip nicht zu genügen. Der Beschwerdeführer setzt sich nicht ansatzweise mit der einlässlichen Begründung des Verwaltungsgerichts auseinander. Auf diese Rüge ist somit nicht einzutreten.
c) Die bis 14. November 1995 geltende Vorgängerin der BNO legte in Art. 61 Abs. 2 die Nutzung wie folgt fest:
"Wohnen, wenig störendes Kleingewerbe mit Wohnbaucharakter (Beispiele siehe Art. 98 Immissionsvorschriften)". Art. 98 Abs. 2 aBO nannte als Beispiele Läden, Geschäfts- und Bürohäuser, Kinos, Gastbetriebe, Handwerksbetriebe mit wenig störenden maschinellen Einrichtungen, Reparaturwerkstätten und Tankstellen etc. . Die Betriebe haben sich dem Zonencharakter anzupassen. Art. 61 aBO und Art. 14 BNO stimmen bis auf die Verweisung auf Art. 98 aBO (mit den dortigen Beispielen) inhaltlich überein. Der Beschwerdeführer schliesst aus dem Umstand, dass Art. 98 aBO nicht in die neue BNO übernommen worden ist, dass ein Rückgriff auf diese altrechtliche Bestimmung heute nicht mehr zulässig sei. Indem sich das Verwaltungsgericht trotzdem darauf bezogen habe, sei es in Willkür verfallen.
aa) Der Richter hat bei der Auslegung einer Verfassungs- oder Gesetzesbestimmung deren Sinn zu suchen, ihre wirkliche rechtliche Bedeutung hinter den vom Gesetzgeber verwendeten Ausdrücken zu finden. Dieser Sinn deckt sich häufig mit dem, den der historische Gesetzgeber im Wortlaut zum Ausdruck bringen wollte; er kann aber auch der sein, den die Bestimmung unter Berücksichtigung der gegenwärtigen Verhältnisse und des Standes der technischen Entwicklung haben muss, damit sie heute vernünftig angewendet werden kann. Daher bedient sich das Bundesgericht der Auslegungsmethoden, die ihm in jedem Einzelfall als am besten geeignet erscheinen, um den wirklichen Sinn des Rechtssatzes herauszubekommen.
Es kann sich zu diesem Zwecke sogar gleichzeitig auf die Entstehungsgeschichte der in Frage stehenden Bestimmung (historische Auslegung), auf ihren Wortlaut und gegebenenfalls auf ihr Verhältnis zu andern Grundsätzen stützen. Das Erfordernis der gesetzlichen Grundlage schliesst es sodann keineswegs aus, das Gesetz ausdehnend auszulegen und ihm ein möglichst weites, aber mit dem Wortlaut noch zu vereinbarendes Anwendungsgebiet zu geben (<ref-ruling> E. 2a S. 199 f.).
Doch darf die rechtsanwendende Behörde ohne Verletzung von <ref-law> vom klaren Gesetzeswortlaut nur dann abweichen, wenn triftige Gründe dafür bestehen, dass er nicht den wahren Sinn der Bestimmung wiedergibt. Solche Gründe können sich aus der Entstehungsgeschichte, aus Grund und Zweck der Vorschrift oder aus dem Zusammenhang mit anderen Gesetzesbestimmungen ergeben (<ref-ruling> E. 1 S. 7; <ref-ruling> E. 6b S. 217). Erst wenn die Auslegung der Normen auf eine Rechtsfrage keine Antwort zu geben vermag, stellt sich die Frage, ob die rechtsanwendende Behörde berechtigt ist, diese Lücke zu schliessen. Die Grenze zwischen Auslegung und Lückenfüllung ist dabei fliessend (Häfelin/Haller, Schweizerisches Bundesstaatsrecht, 4. Auflage Zürich 1998, S. 40 N. 115).
bb) Art. 14 NBO lässt in der Zone WG 4A Kleingewerbe mit Wohnbaucharakter nach wie vor zu, sofern sie den Anforderungen an die Dimensionierung und die optische Eingliederung in die Wohnzone entsprechen. Daran vermag auch der durch die erfolgte Baugesetzesrevision aufgehobene Art. 98 aBO und der dadurch entfallene frühere Verweis auf diese Bestimmung nichts zu ändern. Insbesondere kann daraus nicht gefolgert werden, die in Art. 98 Abs. 2 aBO als Beispiele genannten Gewerbebetriebe seien nach neuem Recht nicht mehr zonenkonform. Nicht zu beanstanden ist, dass sich das Verwaltungsgericht bei der Frage, welche konkreten Gewerbearten nach Art. 14 BNO zulässig sind, mangels gesetzlicher Regelung auf Art. 98 Abs. 2 aBO und die bisher vom Stadtrat Rheinfelden geübte Praxis abgestützt hat. Das Verwaltungsgericht hat hierbei im Rahmen anerkannter Gesetzesauslegung gehandelt. Von einem unzulässigen Rückgriff auf Art. 98 aBO kann keine Rede sein. Die vom Beschwerdeführer in diesem Zusammenhang geltend gemachte Verletzung des Willkürverbotes ist unbegründet.
d) Zu prüfen ist der weitere Einwand des Beschwerdeführers, wonach es sich bei der Tankstelle mit den verschiedenen Nebenbetrieben nicht mehr um ein Kleingewerbe im Sinne von Art. 14 NBO handle und es auch an dem in dieser Bestimmung geforderten Wohnbaucharakter fehle.
aa) Bei den Begriffen "Kleingewerbe" und "Wohnbaucharakter" handelt es sich um unbestimmte Gesetzesbegriffe.
Unbestimmte Gesetzesbegriffe gewinnen ihren Inhalt aus dem Sinn und Zweck der Vorschrift sowie aus der Stellung im Gesetz und im Rechtssystem (<ref-ruling> E. 3 S. 6), bedürfen also der Auslegung. Die Rechtsanwendung innerhalb des Beurteilungsspielraums lässt sich nicht scharf von der Ermessensbetätigung trennen. Bei Fragen, deren Würdigung im Grenzbereich zwischen Rechtsanwendung und Ermessensbetätigung liegt, prüft das Bundesgericht deshalb die vorinstanzliche Auslegung mit Zurückhaltung (<ref-ruling> E. 3 S. 135 f.). Dies gilt insbesondere, wenn bei der Auslegung unbestimmter Gesetzesbegriffe planerische Gesichtspunkte miteinzubeziehen (<ref-ruling> E. 2 S. 43) oder örtliche Verhältnisse zu würdigen sind (<ref-ruling> E. 3c S. 79; <ref-ruling> E. 4b S. 208).
Ähnlich wie das Bundesgericht haben kantonale Gerichte ihre Überprüfungsbefugnis zu beschränken, wenn der fragliche unbestimmte Gesetzesbegriff dem autonomen Gemeinderecht angehört. Dies hat zur Folge, dass der kommunale Verwaltungsakt von der übergeordneten kantonalen Behörde nur aufgehoben werden darf, wenn sich die Gemeinde im Zusammenhang mit der Anwendung des unbestimmten Gesetzesbegriffs auf den Einzelfall eines Missbrauchs oder einer Überschreitung ihrer Beurteilungsermächtigung schuldig gemacht oder wenn sie verfassungsmässige Rechte des Bürgers verletzt hat (Imboden/Rhinow, Schweizerische Verwaltungsrechtsprechung,
6. Aufl. , Basel 1986, Bd. I. Nr. 66 S. 402 f.).
bb) Gemäss § 13 Abs. 1 und § 15 Abs. 1 und 2 lit. a des aargauischen Gesetzes über Raumplanung, Umweltschutz und Bauwesen vom 19. Januar 1993 (Baugesetz, BauG; SAR 713. 100) erlassen die Gemeinden allgemeine Nutzungspläne (Zonenpläne) und allgemeine Nutzungsvorschriften (Bau- und Zonenordnung), die das Gemeindegebiet in verschiedene Nutzungszonen einteilen und Art und Mass der Nutzung regeln.
Sie können dabei insbesondere Bauzonen, namentlich Wohn-, Kern-, Gewerbe-, Industriezonen und Zonen für öffentliche Bauten ausscheiden. Bei der Ausscheidung und Definition der verschiedenen Zonen geniessen die Gemeinden aufgrund von § 106 der Verfassung des Kantons Aargau vom 25. Juni 1980 verfassungsrechtlich geschützte Autonomie; hierin eingeschlossen ist die Anwendung des autonomen Gemeinderechts.
Das Verwaltungsgericht hat demnach dem Stadtrat Rheinfelden bei der Auslegung der unbestimmten Gesetzesbegriffe "Kleingewerbe" und "Wohnbaucharakter" zu Recht einen Beurteilungsspielraum zuerkannt. Zu prüfen ist vorliegend einzig, ob es bei der Auslegung und Rechtsanwendung dieser unbestimmten Gesetzesbegriffe in Willkür verfallen ist.
cc) Bei der Auslegung kommunaler Zonenvorschriften ist namentlich das Konzept der raumplanerischen Zonenausscheidung der betreffenden Gemeinde zu berücksichtigen, aus dem oft auf die Art der zugelassenen Bauten geschlossen werden kann (Erich Zimmerlin, Baugesetz des Kantons Aargau, Kommentar, 2. Aufl. , Aarau 1985, N. 10 zu §§ 130-133). Der Art. 61 aBO grundsätzlich entsprechende Art. 14 BNO unterscheidet im Wesentlichen die folgenden Zonen: Wohnzonen, Wohnen-Kleingewerbezonen, Grossgewerbezone und Industriezone.
Der geltende Bauzonenplan weist einzig an der Ausfallstrasse in Richtung Kaiseraugst eine Grossgewerbezone auf.
Wohn-Kleingewerbezonen befinden sich demgegenüber sowohl an dieser Strasse als auch an der Ausfallstrasse Richtung Möhlin bzw. zur Autobahn A 3. Dass Tankstellen mit Nebenbetrieben innerorts vor allem an stark befahrenen Durchgangsstrassen und nicht abseits davon errichtet werden, macht aus ortsplanerischer Sicht durchaus Sinn. Dasselbe gilt auch für Gewerbebetriebe mit grösserer Kundenfrequenz. Es ist daher auszuschliessen, dass der kommunale Gesetzgeber mit Erlass der Zonenplanung beabsichtigte, derartige Betriebe einzig in der Grossgewerbezone zuzulassen. Dafür spricht auch die jahrelange kommunale Praxis. Gemäss unwidersprochen gebliebener Feststellung des Verwaltungsgerichts befindet sich in der Grossgewerbezone lediglich eine einzige Tankstelle, während die vier übrigen Tankstellen ihren Standort entlang den Durchgangsstrassen entweder in der Zone WG 4A oder WG 4B haben. Diese wie auch die weiteren vom Verwaltungsgericht genannten Gewerbebetriebe, von denen sich die grösseren allesamt entlang der Durchgangsstrassen befinden, zeigen klar auf, dass sich die kommunale Baubewilligungsbehörde bei der Auslegung von Art. 61 aBO bzw. Art. 14 NBO vor allem auf den Sinn und Zweck dieser Bestimmung und seine systematische Stellung in der Bauordnung abstützte. Dabei hat sie den Begriff "Kleingewerbe" unter dem Aspekt der zulässigen Dimensionierung offensichtlich in Berücksichtigung der sich veränderten Verhältnisse wohl ausdehnend, aber noch im Rahmen der zulässigen Gesetzesauslegung interpretiert. Das Verwaltungsgericht durfte daher das geplante Bauvorhaben der Beschwerdegegnerin als "Kleingewerbe" und damit als zonenkonform qualifizieren, ohne dadurch in Willkür zu verfallen.
Dasselbe trifft auch auf die Auslegung des Begriffs "Wohnbaucharakter" zu. Es ist offensichtlich, dass viele der im angefochtenen Entscheid angeführten Gewerbebetriebe weder in baulicher noch in funktionaler Hinsicht Wohnbaucharakter aufweisen. Auch diesbezüglich hat sich das Erscheinungsbild im Verlaufe der Zeit erheblich geändert. Moderne Tankstellen etwa weisen heute mehrere Zapfsäulen mit einer Überdachung und in der Regel auch einen Shop sowie innerorts zudem eine Autowaschanlage auf. Derartige Bauten lassen sich in keiner Hinsicht mehr unter den Begriff "Wohnbaucharakter" subsumieren.
Auch andere grössere Gewerbe- und Dienstleistungsbetriebe weisen seit geraumer Zeit in der Regel weder architektonisch noch funktional Wohnbaucharakter auf. Die Ansiedlung derartiger Betriebe in einer Gemeinde entspricht fraglos einem öffentlichen Interesse. Da in Rheinfelden die einzige Grossgewerbezone aufgrund der dort zulässigen Nutzung hiefür nur beschränkt geeignet ist, die Wohnen-Kleingewerbezonen sich hingegen an wichtigen Durchgangsstrassen befinden, hatte die Baubewilligungsbehörde triftige Gründe, vom Gesetzeswortlaut abzuweichen und auch Bauten und Anlagen zu bewilligen, die keinen Wohnbaucharakter aufweisen. Zu beachten gilt es in diesem Zusammenhang auch, dass sich gemäss den vom Beschwerdeführer nicht in Frage gestellten Ausführungen des Verwaltungsgerichts die grösseren Gewerbebetriebe allesamt an Durchgangsstrassen befinden, während die Wohnnutzung grundsätzlich eher von diesen Strassen abgewandt ist. Dies weist darauf hin, dass die kommunale Baubewilligungsbehörde in der Zone Wohnen/Kleingewerbe auch mit der Zulassung grösserer Gewerbebetriebe eine klare städtebauliche Struktur verfolgt und damit auch dem Wohnbaucharakter in dieser Zone Rechnung trägt.
dd) Das Verwaltungsgericht hat mit zahlreichen Beispielen die seit Jahren vom Stadtrat Rheinfelden geübte Praxis aufgezeigt und belegt, dass das vorliegend bewilligte Projekt mit andern, früher in der Zone Wohnen/Kleingewerbe gestützt auf Art. 14 BNO und Art. 61 aBO bewilligten Gewerbebetrieben vergleichbar ist. Seine Schlussfolgerung, dass die angefochtene Bewilligung für den Bau einer Tankstelle mit Nebenbetrieben zonenkonform ist, erweist sich aus den dargelegten Gründen nicht als willkürlich.
e) Der Beschwerdeführer beanstandet ferner, das Verwaltungericht habe im Zusammenhang mit der Zonenkonformität seine Rüge der formellen Rechtsverweigerung nicht behandelt und deshalb selber eine Rechtsverweigerung begangen und das Willkürverbot des <ref-law> verletzt. Er hatte vor Verwaltungsgericht geltend gemacht, die Gemeindebehörden und der Regierungsrat hätten die zusätzliche Nutzungsart dieser Grosstankstelle als Occasionsfahrzeugmarkt überhaupt nicht materiell geprüft.
Wie bereits der Stadtrat, beurteilte auch der Regierungsrat die Zonenkonformität der gesamten Anlage und nicht im Speziellen der einzelnen Anlageteile. Dieses Vorgehen war durch die Verwaltungsbeschwerde des Beschwerdeführers an den Regierungsrat vorgegeben. Dieser hatte darin geltend gemacht, der Bau einer Grosstankstelle mit Shop von 80 m2 Fläche, Waschanlage, Lanzenwäsche sowie Handel mit Occasionen könne nicht als "wenig störendes Kleingewerbe" qualifiziert werden. Unter diesen Umständen kann von einer formellen Rechtsverweigerung und von Willkür nicht die Rede sein.
Zudem befasste sich das Verwaltungsgericht mit der Frage des Occasionshandels ausführlich, nachdem die entsprechenden Rügen erhoben worden waren. Und mit dem Verzicht der Beschwerdegegnerin auf den Occasionshandel (vgl. Vernehmlassung der Y._ AG vom 31. Oktober 2000, S. 3 und Protokoll des bundesgerichtlichen Augenscheins vom 30. März 2001, S. 6) hat die vorliegende Rüge ohnehin keine praktische Bedeutung mehr.
f) Soweit auf die im Zusammenhang mit der Zonenkonformität erhobenen Rügen überhaupt eingetreten werden kann, erweisen sich diese als unbegründet und ist die staatsrechtliche Beschwerde daher abzuweisen.
7.- Der Beschwerdeführer beanstandet schliesslich die Kostenverteilung des Verwaltungsgerichts. Dieses hatte wegen der Gehörsverletzung durch den Regierungsrat 1/5 der Verfahrenskosten und 1/5 der dem Beschwerdeführer vor Verwaltungsgericht entstandenen Parteikosten auf die Staatskasse übernommen.
Der Beschwerdeführer erachtet den Ansatz von 1/5 als willkürlich. Das Mitwirken an einem Augenschein mit den entsprechenden Antrags- und Mitwirkungsrechten stelle den Kern des Verfahrens dar. Der Beschwerdeführer beantragt deshalb, ihm seien mindestens 3/4 der ihm durch die Beschwerdeergreifung vor Verwaltungsgericht entstandenen Kosten zu ersetzen.
Gemäss § 33 Abs. 2 VRPG sind dem Unterliegenden in den Beschwerdeverfahren in der Regel Kosten aufzuerlegen.
§ 36 Abs. 1 VRPG sieht die Ausrichtung einer angemessenen Parteientschädigung an den Obsiegenden vor. Diese gesetzlichen Bestimmungen räumten dem Verwaltungsgericht bei der kostenmässigen Berücksichtigung der Gehörsverletzung durch den Regierungsrat ein erhebliches Ermessen ein. Einem Augenschein kommt innerhalb eines Verfahrens zwar eine wichtige Bedeutung zu. Angesichts der Tatsache, dass vor Verwaltungsgericht ein weiterer Augenschein stattfand, an dem sich der Beschwerdeführer zu allen ihm wichtigen Punkten äussern und der Verfahrensmangel so geheilt werden konnte und angesichts des Umstandes, dass der Beschwerdeführer in allen übrigen Punkten unterlag, kann die Kostenverlegung des Verwaltungsgerichts nicht als willkürlich betrachtet werden.
8.- Nach dem Gesagten sind die Verwaltungsgerichtsbeschwerde und die staatsrechtliche Beschwerde abzuweisen, soweit darauf eingetreten werden kann. Bei diesem Ausgang des Verfahrens hätte der Beschwerdeführer gemäss Art. 156 Abs. 1 OG an sich die gesamten Verfahrenskosten von Fr. 6'000.-- zu bezahlen. Da die Beschwerdegegnerin im Verfahren vor Bundesgericht Zugeständnisse machte (Verzicht auf den Occasionshandel, Einschränkung der Öffnungszeiten für die Lanzenwaschanlage und den Hypometer) und die Beschwerden insoweit gegenstandslos geworden sind, rechtfertigt es sich, der Beschwerdegegnerin Fr. 1'000.-- der Verfahrenskosten aufzuerlegen (vgl. Art. 40 OG, <ref-law>, <ref-ruling> E. 4a S. 494). Die Beschwerdegegnerin gab am bundesgerichtlichen Augenschein zwar zu Protokoll, der Verzicht auf den Occasionshandel sei schon seit längerem geplant gewesen und stehe nicht im Zusammenhang mit dem Verfahren. Sie hätte diesen Verzicht indessen schon früher bekannt geben und auf diese Weise unnötige Beschwerden und Kosten vermeiden können.
Eine Überbindung des entsprechenden Kostenanteils an die Beschwerdegegnerin lässt sich auch auf Art. 156 Abs. 6 OG stützen. Aus den genannten Gründen hat der Beschwerdeführer der Beschwerdegegnerin auch nur eine reduzierte Parteientschädigung zu entrichten (Art. 159 Abs. 1 und 5 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen, soweit darauf einzutreten ist.
2.- Die staatsrechtliche Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
3.- Die Gerichtsgebühr von Fr. 6'000.-- wird zu Fr. 5'000.-- dem Beschwerdeführer und zu Fr. 1'000.-- der Beschwerdegegnerin auferlegt.
4.- Der Beschwerdeführer hat die Beschwerdegegnerin für das bundesgerichtliche Verfahren mit Fr. 5'000.-- zu entschädigen.
5.- Dieses Urteil wird den Parteien, dem Stadtrat Rheinfelden, dem Baudepartement, dem Regierungsrat und dem Verwaltungsgericht des Kantons Aargau, 3. Kammer, sowie dem Bundesamt für Umwelt, Wald und Landschaft (BUWAL) schriftlich mitgeteilt.
_
Lausanne, 5. Juni 2001
Im Namen der I. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident:
Die Gerichtsschreiberin: