Nichtverlängerung der Aufenthaltsbewilligung, hat sich ergeben:
A.- Der aus der Türkei stammende, am .. ... 1969 geborene X._ reiste am 18. März 1988 im Rahmen des Familiennachzugs zu seiner ebenfalls aus der Türkei stammenden Ehefrau Y._, geb. .. ... 1969, in die Schweiz ein und erhielt gestützt darauf eine Jahresaufenthaltsbewilligung.
Die Ehefrau ist seit dem 18. Dezember 1992 im Besitze der Niederlassungsbewilligung; die drei gemeinsamen Kinder A._, geb. .. ... 1989, B._, geb. .. ... 1995, und C._, geb. .. ... 1997, kamen in der Schweiz zur Welt.
B.- Am 14. November 1994 verurteilte das Bezirksamt D._ X._ wegen Widerhandlungen gegen das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; SR 142. 20) zu sieben Tagen Gefängnis bedingt und einer Busse von Fr. 150.--. Mit Strafbefehl vom 22. Juni 1995 verurteilte ihn das Bezirksamt E._ wegen Überschreitens der signalisierten Höchstgeschwindigkeit innerorts zu einer Busse von Fr. 150.--; am 26. Februar 1997 wandelte es diese Busse wegen schuldhaften Nichtbezahlens in fünf Tage Haft um. Mit Strafbefehl vom 8. August 1995 verurteilte das Bezirksamt F._ X._ wegen "Verursachens von unnötigem Lärm durch Tonwiedergabe in Personenwagen während Fahrt durch Wohngebiet bei offenem Wagenfenster", Nichtmitführens des Führerausweises sowie Nichttragens der Sicherheitsgurten als Fahrzeugführer zu einer Busse von Fr. 80.--; es wandelte diese Busse am 27. Juni 1996 in zwei Tage Haft um. Mit Strafbefehl vom 17. Juni 1996 verurteilte das Bezirksamt G._ X._ wegen Nichtabgabe von Fahrzeugausweis und Kontrollschildern trotz behördlicher Aufforderung zu einer Busse von Fr. 80.--. Mit Verfügung vom 8. April 1997 verwarnte ihn die Fremdenpolizei des Kantons Aargau; sie verlängerte ihm die Aufenthaltsbewilligung auf Zusehen und Wohlverhalten hin bis zum 31. Dezember 1997. Mit Strafbefehl vom 18. Dezember 1997 verurteilte das Bezirksamt G._ X._ wegen verbotenen Glücksspieles sowie Spielens mit hohem Einsatz (Widerhandlung gegen das Wirtschaftsgesetz des Kantons Aargau) zu einer Busse von Fr. 130.--. Mit Strafbefehl vom 1. Mai 1998 wandelte das Bezirksamt E._ eine von ihm am 14. Oktober 1997 wegen Überschreitens der signalisierten Höchstgeschwindigkeit ausgesprochene Busse von Fr. 40.-- in einen Tag Haft um. Mit Schreiben vom 18. Juni 1998 teilte die Fremdenpolizei X._ mit, sie verlängere ihm im Sinne einer Chance und auf Zusehen hin die Aufenthaltsbewilligung bis zum 31. Dezember 1998. Sie forderte ihn in diesem Zusammenhang auf, die neu anzutretende Arbeitsstelle auf dem freien Arbeitsmarkt auch zu behalten und seinen finanziellen Verpflichtungen im Gaststaat vollumfänglich aus eigenen Mitteln nachzukommen; zudem habe er die Empfehlungen und Weisungen der zuständigen Gemeindeorgane ausnahmslos zu befolgen und sein Verhalten im Gaststaat dem hierzulande üblichen anzupassen. Mit Strafbefehl vom 4. August 1998 verurteilte ihn das Bezirksamt F._ wegen Überschreitens der vorgeschriebenen Frist für die obligatorische Abgaswartung zu einer Busse von Fr. 100.--; es wandelte am 21. Mai 1999 diese Busse wegen schuldhaften Nichtbezahlens in drei Tage Haft um. Am 18. August 1998 wandelte das Bezirksamt F._ eine am 19. September 1997 wegen Nichttragens der Sicherheitsgurten ausgesprochene Busse von Fr. 60.-- in zwei Tage Haft um. Am 21. Oktober 1998 bestrafte ihn das Bezirksamt H._ wegen Missachtens der Höchstgeschwindigkeit mit einer Busse von Fr. 120.--. Mit Strafbefehl vom 10. Dezember 1998 verurteilte das Bezirksamt G._ X._ wegen Nichtabgabe von Fahrzeugausweis und Kontrollschildern trotz behördlicher Aufforderung zu einer Busse von Fr. 200.--.
Am 12. Januar 1999 wandelte das Bezirksamt F._ eine von ihm am 13. Mai 1998 wegen Nichttragens der Sicherheitsgurten ausgesprochene Busse von Fr. 60.-- in zwei Tage Haft um. Mit Strafbefehl vom 1. April 1999 verurteilte es ihn zudem wegen Missachtung der signalisierten Höchstgeschwindigkeit, mehrfachen Unterlassens der Richtungsanzeige, Verursachens von unnötigem Lärm und Inverkehrbringens eines Motorfahrzeuges in nicht betriebssicherem und nicht vorschriftsgemässem Zustand zu einer Busse von Fr. 1'000.--; den nicht bezahlten Restbetrag dieser Busse von Fr. 650.-- wandelte das Bezirksgericht F._ am 22. März 2000 in 21 Tage Haft um. Mit Strafbefehl vom 8. Juli 1999 wandelte das Bezirksamt I._ eine am 29. Dezember 1998 wegen Widerhandlung gegen das Strassenverkehrsgesetz ausgesprochene Busse von Fr. 60.-- wegen schuldhaften Nichtbezahlens in zwei Tage Haft um. Am 20. August 1999 verurteilte das Bezirksamt G._ X._ wegen Führens eines Motorfahrzeuges trotz Entzugs des Führerausweises zu einer Haftstrafe von 14 Tagen und einer Busse von Fr. 500.--.
C.- Mit Verfügung vom 14. Dezember 1999 verweigerte die Fremdenpolizei des Kantons Aargau die Verlängerung der Aufenthaltsbewilligung von X._. Die dagegen erhobene Einsprache vom 3. Januar 2000 wies die Fremdenpolizei am 29. Februar 2000 ab. Am 27. April 2001 wies das Rekursgericht im Ausländerrecht des Kantons Aargau die gegen den Einspracheentscheid der Fremdenpolizei erhobene Beschwerde ab.
D.- Dagegen hat X._ mit Eingabe vom 31. Mai 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde erhoben. Er beantragt, den angefochtenen Entscheid aufzuheben und ihm die Aufenthaltsbewilligung zu verlängern; eventualiter die Sache zur Ergänzung des Sachverhaltes an die Vorinstanz zurückzuweisen.
Die Fremdenpolizei des Kantons Aargau beantragt, die Beschwerde abzuweisen, soweit darauf einzutreten sei.
Das Rekursgericht im Ausländerrecht des Kantons Aargau sowie das Bundesamt für Ausländerfragen schliessen auf Abweisung der Beschwerde.
E.- Mit Verfügung vom 26. Juni 2001 hat der Abteilungspräsident der Beschwerde antragsgemäss aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- a) Auf dem Gebiete der Fremdenpolizei ist die Verwaltungsgerichtsbeschwerde unzulässig gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt (Art. 100 Abs. 1 lit. b Ziff. 3 OG). Gemäss Art. 4 ANAG entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Der Ausländer hat damit grundsätzlich keinen Anspruch auf Erteilung bzw. Verlängerung einer Aufenthaltsbewilligung, es sei denn, er oder seine in der Schweiz lebenden Angehörigen könnten sich auf eine Sondernorm des Bundesrechts oder eines Staatsvertrags berufen, die ihm einen Anspruch auf eine solche Bewilligung einräumt (<ref-ruling> E. 1a S. 62 f.; <ref-ruling> E. 1 S. 427, je mit Hinweisen).
b) Die Ehefrau des Beschwerdeführers ist seit Ende 1992 im Besitze der Niederlassungsbewilligung. Damit hat ihr Ehegatte Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen; nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat der Ehegatte ebenfalls Anspruch auf die Niederlassungsbewilligung (Art. 17 Abs. 2 ANAG). Auf die Verwaltungsgerichtsbeschwerde ist daher einzutreten.
2.- Der Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung erlischt, wenn der Anspruchsberechtigte gegen die öffentliche Ordnung verstossen hat (Art. 17 Abs. 2 Satz 3 ANAG). Die Voraussetzung für ein Erlöschen des Anspruches ist weniger streng als etwa im Fall des ausländischen Gatten eines Schweizers oder einer Schweizerin, bei dem nach Art. 7 Abs. 1 letzter Satz ANAG ein Ausweisungsgrund vorliegen muss. Immerhin muss die Verweigerung der Bewilligungsverlängerung nach den allgemeinen Regeln des Verwaltungsrechts verhältnismässig sein (<ref-ruling> E. 3a S. 390, mit Hinweis). Bei der Prüfung der Verhältnismässigkeit können die in Art. 16 Abs. 3 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer (ANAV; SR 142. 201) für die Fälle einer Ausweisung aufgestellten Kriterien - Schwere des Verschuldens des Ausländers, Dauer seiner Anwesenheit in der Schweiz sowie die ihm und seiner Familie drohenden Nachteile - analog herangezogen werden.
3.- a) Der Beschwerdeführer hat mit seiner Widerhandlung gegen das Bundesgesetz über Aufenthalt und Niederlassung der Ausländer, gegen das Wirtschaftsgesetz des Kantons Aargau sowie den zahlreichen Übertretungen des Strassenverkehrsgesetzes gegen die öffentliche Ordnung verstossen.
Dazu kommt, dass er in mehreren Fällen Bussen schuldhaft nicht bezahlt hat, worauf diese in Haft umgewandelt werden mussten.
Die vom Beschwerdeführer begangenen Delikte liegen grösstenteils im Bereiche der Bagatellkriminalität; nur in einem einzigen Fall wurde er zu einer Freiheitsstrafe verurteilt, wobei es sich lediglich um 14 Tage Haft - jedoch keineswegs um ein Bagatelldelikt (Führen eines Motorfahrzeuges trotz Entzugs des Führerausweises) - handelte. Die Zahl der Bagatelldelikte, die Fruchtlosigkeit der Verwarnungen und die Tatsache, dass der Beschwerdeführer Bussen fast regelmässig nicht bezahlte, zeigen aber auf, dass er nicht gewillt oder nicht fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen, was sogar einen Ausweisungsgrund darstellt (vgl. Art. 10 Abs. 1 lit. b ANAG). Für diese Annahme gibt es im Verhalten und in der Lebensführung des Beschwerdeführers noch weitere Anhaltspunkte:
b) Ein solcher Anhaltspunkt liegt im Verhalten des Beschwerdeführers gegenüber den Behörden seiner Wohnsitzgemeinde.
Am 14. April 1997 teilte der Gemeinderat von P._ der Fremdenpolizei mit, der Beschwerdeführer habe dem Gemeindeschreiber gedroht, ihn zu erschiessen; er sei zudem "ausgerastet", nachdem er bei der Sozialarbeiterin vorgesprochen habe und ihm die verlangte materielle Hilfe verweigert worden sei. Mit Schreiben vom 1. März 1999 teilte die Sozialarbeiterin von P._ mit, der Beschwerdeführer sei am 24. Februar 1999 unangemeldet beim Sozialamt erschienen und habe um materielle Hilfe ersucht; sie habe ihm zur Berechnung der materiellen Hilfe einen Termin vorgeschlagen und sei froh gewesen, dass er nicht ausgerastet sei. Sie habe vor, zum geplanten Gespräch den Gemeindepolizisten beizuziehen. Sie erklärte, der Beschwerdeführer habe sie selber bisher weder verbal noch körperlich bedroht oder beleidigt, indessen würde sie nie wagen, ihm Geld zu verweigern, da sie Angst vor seiner Unberechenbarkeit und seinem Gewaltpotential habe. Sie fügt bei, eine Mitarbeiterin der Arbeitslosenkasse habe ihr erzählt, der Beschwerdeführer habe sie mit "Arschloch" betitelt und ihr verbal Gewalt angedroht.
Das Beschimpfen von Behördemitgliedern ist unakzeptabel.
Ins Gewicht fällt dabei auch, dass die Sozialarbeiterin - auch wenn der Beschwerdeführer ihr gegenüber bisher nicht ausfällig geworden ist - Angst vor ihm hat. Mit diesem Verhalten zeigt der Beschwerdeführer, dass er sich nicht an schweizerische Gepflogenheiten anpassen will.
c) Der Beschwerdeführer, der seit März 1988 und damit seit 13 Jahren in der Schweiz lebt, ist beruflich alles andere als integriert:
Er war vorerst bei verschiedenen Unternehmungen tätig; vom 1. November 1990 bis zum 31. Mai 1994 arbeitete er als Schlosser bei der N._ AG in L._. Dieses Arbeitsverhältnis kündigte die Arbeitgeberin aufgrund seiner häufigen krankheitsbedingten Abwesenheiten. Danach war der Beschwerdeführer längere Zeit arbeitslos; er musste nach seiner Aussteuerung (4. März 1996) mit Sozialhilfeleistungen unterstützt werden, da das Einkommen seiner Ehefrau nicht ausreichte. Mit Verfügung vom 26. Juni 1996 bescheinigte die IV-Stelle der Sozialversicherungsanstalt des Kantons Aargau dem Beschwerdeführer einen Invaliditätsgrad von 29 % und lehnte sein Gesuch um Ausrichtung einer IV-Rente ab; sie hielt fest, dass der Beschwerdeführer für eine leichte körperliche Arbeit voll arbeitsfähig sei. Am 18. Juni 1996 wurde dem Beschwerdeführer der Stellenantritt als Serviceaushilfe in einem Restaurant in L._ bewilligt. Auf den 12. Februar 1997 meldete er sich wieder als arbeitslos.
Am 8. Dezember 1997 trat der Beschwerdeführer eine Tätigkeit im Rahmen eines Beschäftigungsprogrammes bei der R._ an. Am 6. März 1998 forderte ihn die R._ auf, den Arbeitsplatz zu verlassen, da er es versäumt hatte, sich rechtzeitig um die Verlängerung der Ende 1997 abgelaufenen Aufenthaltsbewilligung zu bemühen. Eine Stelle als Kellner verliess der Beschwerdeführer nach einigen Wochen wegen Differenzen mit dem Wirte-Ehepaar. Vom 21. August 1998 bis zum 28. September 1998 war der Beschwerdeführer bei der Firma O._ AG in M._ temporär angestellt. Auf den 11. Februar 1999 wurde er als Arbeitsloser wieder ausgesteuert und ab März 1999 erneut von der Sozialhilfe unterstützt.
Es fällt auf, dass der Beschwerdeführer ab Ende Mai 1994 entweder über lange Zeit hinweg arbeitslos war oder an einer Stelle nur kurze Zeit blieb. Dies mag unter anderem mit seinen gesundheitlichen Problemen zusammenhängen; indessen erstaunt es doch, dass der Beschwerdeführer - dem für eine leichte körperliche Arbeit von der IV-Stelle eine hundertprozentige Arbeitsfähigkeit attestiert worden war - keine geeignete Stelle fand bzw. in keiner Stellung länger ausharrte.
d) Zu Ungunsten des Beschwerdeführers spricht auch seine finanzielle Situation:
Von Anfang Januar 1997 bis Ende Februar 1999 kam es zu 21 Betreibungen gegen den Beschwerdeführer im Gesamtbetrag von Fr. 28'261.--; gemäss Betreibungsregisterauszug des Betreibungsamts P._ vom 24. Februar 1999 bestehen zudem 24 offene Verlustscheine im Betrag von Fr. 38'894.--.
Aus der Zusammenstellung der Finanzverwaltung P._ vom 17. Januar 2000 geht ferner hervor, dass der Beschwerdeführer gegenüber seiner Wohnsitzgemeinde Schulden im Umfange von Fr. 31'947.-- hat; diese Schulden betreffen zum grössten Teil Verlustscheine für Steuerausstände, weitere Steuerschulden sowie den Betrag von Fr. 11'376.-- für im Jahre 1999 geleistete materielle Hilfe.
e) Insgesamt besteht ein gewichtiges öffentliches Interesse für die Fernhaltung des Beschwerdeführers aus der Schweiz. Dabei fällt auch ins Gewicht, dass der Beschwerdeführer trotz zweier Verwarnungen durch die Fremdenpolizei nicht bereit war, sein Verhalten grundsätzlich zu ändern.
Demgegenüber spricht die lange Aufenthaltsdauer des Beschwerdeführers von 13 Jahren sowie die Beziehung zu seiner Frau und seinen drei Kindern für ein starkes privates Interesse am Verbleib in der Schweiz. Die Beziehung zwischen den Eheleuten scheint solide zu sein: Wie die Ehefrau des Beschwerdeführers am 10. Dezember 1999 gegenüber einer Sozialarbeiterin erklärte, ist ihr Ehemann für sie kein Problem, ausser dass er Schulden habe und nicht arbeite; er schlage sie nicht. Sie wünscht, dass er in der Schweiz bleiben kann. Die Ehefrau lebt seit dem 18. Dezember 1982, d.h.
seit ihrem dreizehnten Lebensjahr in der Schweiz und ist mittlerweile hier verwurzelt. Allerdings besucht sie, wie sie der Sozialarbeiterin erklärt hat, immer wieder ihre Verwandten, Eltern und die Schwester in der Türkei. Sie führte aus, zum Leben wolle sie hier arbeiten und Geld verdienen; sie werde erst später zurück in die Türkei gehen, wenn sie älter sei, und wolle natürlich nicht in der Schweiz beerdigt werden. Nachdem die Ehefrau in der Türkei noch Verwandte hat, welche sie regelmässig besucht, wäre für sie eine Rückkehr in die Türkei nicht von vornherein unzumutbar.
Die Ehefrau erklärte damals gegenüber der Sozialarbeiterin, wenn ihr Mann in die Türkei zurückkehren müsste, würde sie auf jeden Fall mit den Kindern in der Schweiz bleiben. Für den Fall, dass die Ehefrau sich auch heute - bald zwei Jahre nach dem Gespräch vom 10. Dezember 1999 - für einen Verbleib in der Schweiz entscheiden würde, bedeutete dies eine Trennung des Ehepaares nach einer Ehedauer von 13 Jahren, und die drei Kinder müssten weitgehend ohne ihren Vater aufwachsen. Immerhin sind besuchsweise Kontakte zu der Familie im Rahmen eines touristischen Aufenthalts nicht ausgeschlossen.
Eine Trennung des Beschwerdeführers von Frau und Kindern wäre zwar hart, ist aber aufgrund seines Verhaltens hinzunehmen und wäre im Übrigen auch selber gewählt - einer Rückkehr der gesamten Familie in die Türkei stünde ja nichts entgegen -; insgesamt überwiegt das öffentliche Interesse an einer Fernhaltung des Beschwerdeführers dessen privates Interesse an einem Verbleib in der Schweiz.
4.- a) Art. 8 EMRK - wie seit dem 1. Januar 2000 auch Art. 13 Abs. 1 BV - gewährleistet das Recht auf Achtung des Privat- und Familienlebens. Darauf kann sich im Rahmen eines ausländerrechtlichen Bewilligungsverfahrens berufen, wer nahe Verwandte mit einem gefestigten Anwesenheitsrecht in der Schweiz hat. Wird in einem solchen Fall der Aufenthalt untersagt, kann dies Art. 8 EMRK (bzw. Art. 13 Abs. 1 BV) verletzen. Soweit eine familiäre Beziehung tatsächlich gelebt wird und intakt ist, wird das der zuständigen Behörde in Art. 4 ANAG grundsätzlich eingeräumte freie Ermessen beschränkt (BGE <ref-ruling> E. 2a S. 427, mit Hinweisen).
b) Der Beschwerdeführer kann sich sowohl in Bezug auf seine Ehefrau als auch in Bezug auf seine drei Kinder auf Art. 8 Ziff. 1 EMRK berufen. Indessen ist der mit der Nichtverlängerung seiner Aufenthaltsbewilligung verbundene Eingriff im Sinne von Art. 8 Ziff. 2 EMRK gerechtfertigt; es kann dafür auf das im Zusammenhang mit Art. 17 Abs. 2 ANAG Gesagte verwiesen werden (E. 3).
c) Der in Art. 13 Abs. 1 BV garantierte Anspruch auf Achtung des Privat- und Familienlebens entspricht materiell der Garantie von Art. 8 EMRK und gewährt darüber hinaus im Bereich des Ausländerrechts keine zusätzlichen Ansprüche (<ref-ruling> E. 7 S. 394).
5.- Die Verwaltungsgerichtsbeschwerde ist nach dem Gesagten abzuweisen. Bei diesem Ausgang des Verfahrens sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 156 Abs. 1 in Verbindung mit Art. 153 und Art. 153a OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Die Gerichtsgebühr von Fr. 2'000.-- wird dem Beschwerdeführer auferlegt.
3.- Dieses Urteil wird dem Beschwerdeführer, der Fremdenpolizei und dem Rekursgericht im Ausländerrecht des Kantons Aargau sowie dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 23. Oktober 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Die Gerichtsschreiberin: