Ausweisung und Aufenthaltsbewilligung, hat sich ergeben:
A.- Der jugoslawische Staatsangehörige A.X._, geb. 1973, kam im Rahmen des Familiennachzugs im Mai 1987 nach Basel, wo er die Niederlassungsbewilligung erhielt. Im Oktober 1993 heiratete er die aus Bosnien-Herzegowina stammende B.Y._, geb. 1970, die gestützt darauf noch im selben Jahr in die Schweiz einreiste und eine Aufenthaltsbewilligung zum Verbleib beim Ehemann erhielt, welche letztmals bis zum 31. Oktober 1998 verlängert wurde. Der 1996 geborene Sohn C. wurde in die Niederlassungsbewilligung des Vaters einbezogen.
B.- Am 18. September 1996 verurteilte das Strafgericht Basel-Landschaft A.X._ zu fünf Monaten Gefängnis wegen vollendetem und mehrmaligem versuchtem Diebstahl sowie Sachbeschädigung. Mit Schreiben vom 14. Januar 1997 verwarnten ihn darauf die dem Polizei- und Militärdepartement des Kantons Basel-Stadt untergeordneten Einwohnerdienste Basel-Stadt (im Folgenden: Einwohnerdienste): Bei "Eingang weiterer Klagen oder einer nochmaligen Verurteilung" müsse er "mit strengen fremdenpolizeilichen Massnahmen rechnen".
Wegen im Betreibungs- und Verlustscheinregister eingetragenen Verlustscheinen über Fr. 83'621. 60 und 35 offenen Betreibungen sowie wegen in der Höhe von Fr. 47'016.-- bezogener Fürsorgeleistungen sprachen die Einwohnerdienste am 9. Dezember 1997 eine neue Verwarnung gegen A.X._ aus; wenn er seine Situation nicht verbessere, könne er ausgewiesen werden. Das Strafgericht Basel-Stadt verurteilte A.X._ am 13. Januar 1998 wegen Betrug, mehrfachem versuchtem Diebstahl, Sachbeschädigung und Aneignung von Kontrollschildern zu 12 Monaten Gefängnis und fünf Jahren Landesverweisung, jeweils bedingt. Hierauf drohten die Einwohnerdienste die Ausweisung an.
Anlässlich des zur Erteilung der Niederlassungsbewilligung für die Ehefrau eingeleiteten Prüfverfahrens stellten die Einwohnerdienste Anfang 1999 fest, dass die Verlustscheinschulden des Ehemannes auf Fr. 121'691.-- angestiegen waren und die Familie X._-Y. _ weitere rund Fr. 38'000.-- an Fürsorge bezogen hatte. Zudem wurde A.X._ mit Strafbefehl des Bezirksamtes Zofingen vom 26. Mai 1999 wegen Hehlerei und Nichtmitführen des Führerausweises zu einer Gefängnisstrafe von 10 Tagen bedingt verurteilt. Mit Verfügung vom 13. September 1999 wiesen die Einwohnerdienste daher A.X._ und seinen Sohn C. für unbestimmte Zeit aus der Schweiz aus; gleichzeitig verweigerten sie die Erneuerung der Aufenthaltsbewilligung für die Ehefrau B.X._-Y. _.
Den dagegen erhobenen Rekurs wies das Polizei- und Militärdepartement des Kantons Basel-Stadt am 2. Oktober 2000 ab, wobei es das inzwischen geborene Kind D. in die Ausweisung einbezog und eine neue Ausreisefrist zum 30. November 2000 ansetzte. Dessen Entscheid bestätigte das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht mit Urteil vom 4. Mai 2001.
C.- A. und B.X._-Y. _ haben gemeinsam mit ihren Kindern C. und D. am 10. September 2001 beim Bundesgericht Verwaltungsgerichtsbeschwerde eingereicht. Sie stellen den Antrag:
"In Aufhebung des Ausweisungsurteils des Verwaltungsgerichts
Basel-Stadt vom 4. Mai 2001, zugestellt
am 10. Juli 2001, sei der Fortbestand der
Niederlassungsbewilligungen von A. und C.
X._ zu bestätigen und Aufenthaltsbewilligungen
B für B. und D.X._ seien zu erteilen;
eventuell sei die Sache zur Neubeurteilung an die
kantonalen Instanzen zurückzuweisen.. "
Im Weiteren ersuchen sie um aufschiebende Wirkung und um unentgeltliche Rechtspflege und Verbeiständung für das bundesgerichtliche Verfahren.
Das Polizei- und Militärdepartement sowie das Appellationsgericht des Kantons Basel-Stadt schliessen ebenso wie das Bundesamt für Ausländerfragen auf Abweisung der Beschwerde.
D.- Der Präsident der II. öffentlichrechtlichen Abteilung hat der Verwaltungsgerichtsbeschwerde mit Verfügung vom 15. Oktober 2001 aufschiebende Wirkung zuerkannt.

Das Bundesgericht zieht in Erwägung:
1.- Das Appellationsgericht des Kantons Basel-Stadt hat als letzte kantonale Instanz und ohne Weiterzugsmöglichkeit an eine andere Bundesbehörde entschieden. Die form- und fristgerecht (Art. 106 Abs. 1, Art. 32, Art. 34 Abs. 1 lit. b OG) erhobene Verwaltungsgerichtsbeschwerde ist damit zulässig (Art. 97 und 98 lit. g OG), soweit kein gesetzlicher Ausschliessungsgrund vorliegt.
a) Gegen auf Art. 10 des Bundesgesetzes vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG, SR 142. 20) gestützte Ausweisungsverfügungen steht die Verwaltungsgerichtsbeschwerde offen (Art. 100 Abs. 1 lit. b Ziff. 4 OG e contrario; <ref-ruling> E. 1a S. 2).
b) Für die Beschwerdeführerinnen 2 und 4 wird die Erteilung von Aufenthaltsbewilligungen begehrt.
Auf dem Gebiete der Fremdenpolizei ist die Verwaltungsgerichtsbeschwerde unzulässig gegen die Erteilung oder Verweigerung von Bewilligungen, auf die das Bundesrecht keinen Anspruch einräumt (Art. 100 Abs. 1 lit. b Ziff. 3 OG).
Gemäss Art. 4 ANAG entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Der Ausländer hat damit grundsätzlich keinen Anspruch auf Erteilung bzw. Verlängerung einer Aufenthaltsbewilligung, es sei denn, er oder seine in der Schweiz lebenden Angehörigen könnten sich auf eine Sondernorm des Bundesrechts oder eines Staatsvertrags berufen, die ihm einen Anspruch auf eine solche Bewilligung einräumt (<ref-ruling> E. 1a S. 62 f.; <ref-ruling> E. 1 S. 427, je mit Hinweisen).
aa) Nach Art. 17 Abs. 2 Satz 1 ANAG hat der ausländische Ehegatte eines niedergelassenen Ausländers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen. Ledige Kinder unter 18 Jahren haben Anspruch auf Einbezug in die Niederlassungsbewilligung, wenn sie mit ihren Eltern zusammen wohnen (Art. 17 Abs. 2 Satz 3 ANAG). Weisen die kantonalen Behörden den niedergelassenen Ehemann und Familienvater aus und verweigern sie gleichzeitig den übrigen Familienangehörigen, die aufgrund der Niederlassungsbewilligung des Ehemannes ein Anwesenheitsrecht hatten, die Erteilung bzw. Erneuerung von Anwesenheitsbewilligungen, so steht die gemeinsame Verwaltungsgerichtsbeschwerde auch den übrigen Familienmitgliedern offen; solange die Niederlassungsbewilligung des Familienvaters nicht rechtskräftig aufgehoben ist, haben sie aufgrund von Art. 17 Abs. 2 Satz 1 und 3 ANAG einen grundsätzlichen Anspruch auf eine Anwesenheitsbewilligung.
bb) Die Beschwerdeführerin 2 kann sich vorliegend zusätzlich auf einen vom Aufenthaltsstatus des Ehemannes unabhängigen Anspruch auf eine Niederlassungsbewilligung aus Art. 17 Abs. 2 Satz 2 ANAG berufen (nicht publizierte Urteile vom 14. Januar 2000, 2A.450/1999, E. 1c/aa, und
28. Mai 1998, 2P.382/1997, E. 3b; implizit auch <ref-ruling> E. 1c S. 63 f.): Am 21. Dezember 1993 hatte sie eine einjährige Aufenthaltsbewilligung mit dem 1. November 1993 als anrechenbarem Einreisedatum erhalten, so dass diese für die Zeit bis zum 31. Oktober 1994 gewährt wurde. Die Bewilligung wurde im Folgenden jeweils entsprechend verlängert, schliesslich bis zum 31. Oktober 1998. Damit hielt sich die Ehefrau aufgrund der ihr nach der Heirat gewährten Aufenthaltsbewilligung genau fünf Jahre ordnungsgemäss in der Schweiz auf.
Die Eheleute wohnten ununterbrochen zusammen. Zwar befand sich der Ehemann während dieser Zeit einige Tage in Untersuchungshaft.
Diese verhältnismässig kurzen Unterbrüche (einmal 26, ein andermal 8 Tage) wirken sich indes nicht zum Nachteil der Ehefrau aus, zumal die eheliche Gemeinschaft vorbehaltlos wieder aufgenommen bzw. fortgeführt wurde (vgl. <ref-ruling> E. 1c S. 64; <ref-ruling> E. 1a S. 270; nicht publizierte Urteile vom 14. August 2000, 2A.216/2000, E. 2c, 28. Mai 1998, 2P.382/1997, E. 3c, und
1. April 1998, 2A.171/1998, E. 2b).
cc) Demnach haben die Beschwerdeführerinnen 2 und 4 Anspruch auf Anwesenheitsbewilligungen. Auf die Beschwerde betreffend die Erteilung bzw. Erneuerung von Aufenthaltsbewilligungen ist daher ebenfalls einzutreten. Dass für sie nicht um Niederlassungs-, sondern um - ein weniger gefestigtes Anwesenheitsrecht gewährende - Aufenthaltsbewilligungen ersucht wird, schadet nicht (erwähntes Urteil vom 28. Mai 1998, E. 3b, mit Hinweisen). Ob die begehrten Bewilligungen namentlich mit Blick auf Art. 17 Abs. 2 Satz 4 ANAG oder das Schicksal der Niederlassungsbewilligung des Familienvaters verweigert werden durften, ist Frage der materiellen Beurteilung (vgl. zu Art. 7 ANAG: <ref-ruling> E. 1 S. 8, mit Hinweisen; zu Art. 17 ANAG: erwähntes Urteil vom 14. Januar 2000, E. 1c/bb, mit Hinweis).
2.- a) Die Vorinstanzen berufen sich für die Ausweisung auf Art. 10 Abs. 1 lit. a, b und d ANAG. Gemäss Art. 10 Abs. 1 ANAG kann ein Ausländer aus der Schweiz ausgewiesen werden, wenn er wegen eines Verbrechens oder Vergehens gerichtlich bestraft wurde (lit. a); ein Ausländer kann zudem ausgewiesen werden, wenn sein Verhalten im Allgemeinen und seine Handlungen darauf schliessen lassen, dass er nicht gewillt oder nicht fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen (lit. b), sowie wenn er oder eine Person, für die er zu sorgen hat, der öffentlichen Wohlfahrt fortgesetzt und in erheblichem Masse zur Last fällt (lit. d). Die auf Art. 10 Abs. 1 lit. d ANAG gestützte Ausweisung setzt voraus, dass dem Ausgewiesenen die Heimkehr in seinen Heimatstaat möglich und zumutbar ist (Art. 10 Abs. 2 ANAG). Die Ausweisung gemäss Art. 10 Abs. 1 lit. b ANAG kann namentlich als begründet erscheinen bei schweren oder wiederholten Verstössen gegen gesetzliche Vorschriften oder behördliche Verfügungen, grober Verletzung allgemeiner Gebote der Sittlichkeit, fortgesetzter böswilliger oder liederlicher Nichterfüllung der öffentlichrechtlichen oder privatrechtlichen Verpflichtungen und sonstiger fortgesetzter Liederlichkeit oder Arbeitsscheu (Art. 16 Abs. 2 der Vollziehungsverordnung vom 1. März 1949 zum Bundesgesetz über Aufenthalt und Niederlassung der Ausländer [ANAV; SR 142. 201]). Entgegen der Ansicht der Beschwerdeführer kann sich ein Ausweisungsgrund also auch daraus ergeben, dass ein Ausländer seinen finanziellen Verpflichtungen nicht nachkommt.
Die Ausweisung soll nur ausgesprochen werden, wenn sie nach den gesamten Umständen "angemessen", d.h. verhältnismässig (<ref-ruling> E. 2a S. 523) erscheint (Art. 11 Abs. 3 ANAG). Dabei ist namentlich auf die Schwere des Verschuldens des Beschwerdeführers, auf die Dauer seiner Anwesenheit in der Schweiz sowie auf die ihm und seiner Familie drohenden Nachteile abzustellen (Art. 16 Abs. 3 ANAV). Ob die Ausweisung im Sinne der Art. 11 Abs. 3 ANAG und Art. 16 Abs. 3 ANAV "angemessen", d.h. verhältnismässig sei, ist eine Rechtsfrage, die das Bundesgericht im Verfahren der Verwaltungsgerichtsbeschwerde frei prüft (Art. 104 lit. a OG). Dem Bundesgericht ist es jedoch verwehrt, sein eigenes Ermessen - im Sinne einer Überprüfung der Zweckmässigkeit (Opportunität; vgl. <ref-ruling> E. 2b S. 356 f.) der Ausweisung - an die Stelle desjenigen der zuständigen kantonalen Behörde zu setzen (<ref-ruling> E. 2a S. 107; 521 E. 2a S. 523; <ref-ruling> E. 1b S. 2).
b) Betreffend die Ehefrau (Beschwerdeführerin 2), die bislang keine Niederlassungs-, sondern eine Aufenthaltsbewilligung hatte, ist auf Art. 17 Abs. 2 Satz 4 ANAG abzustellen:
Demnach erlöschen die Ansprüche des Ausländers aus Art. 17 Abs. 2 Satz 1-3 ANAG, wenn er gegen die öffentliche Ordnung verstossen hat. Die Voraussetzungen für ein Erlöschen des Anspruches sind weniger streng als im Fall eines niedergelassenen Ausländers oder eines ausländischen Ehegatten eines Schweizers oder einer Schweizerin (vgl. Art. 7 Abs. 1 Satz 3 ANAG), bei denen ein Ausweisungsgrund vorliegen muss und eine Verhältnismässigkeitsprüfung nach Art. 11 Abs. 3 ANAG stattzufinden hat. Nach Art. 17 Abs. 2 Satz 4 ANAG genügt bereits ein Verstoss gegen die öffentliche Ordnung; erst recht stellt daher ein in der Person des Ausländers erfüllter Ausweisungsgrund einen Erlöschenstatbestand dar (nicht publiziertes Urteil vom 5. Juni 2001, 2A.11/2001, E. 3a). Zwar muss auch bei Art. 17 Abs. 2 ANAG die Verweigerung der Bewilligungsverlängerung nach den allgemeinen Regeln des Verwaltungsrechts verhältnismässig sein; da aber bereits geringere öffentliche Interessen für ein Erlöschen des Anspruchs genügen, sind auch die entgegenstehenden privaten Interessen weniger stark zu gewichten als bei einer Ausweisung (<ref-ruling> E. 3a S. 390, mit Hinweis).
Allerdings ist bei der Abwägung ein Unterschied zu machen, ob es um einen Ausländer geht, der lediglich einen Anspruch auf Aufenthaltsbewilligung nach Art. 17 Abs. 2 Satz 1 ANAG hat, oder um einen solchen, der an sich bereits einen selbständigen Anspruch nach Art. 17 Abs. 2 Satz 2 ANAG geltend machen kann. Unter anderem kann bei Letzterem nach dem Grundsatz der Verhältnismässigkeit statt der vollkommenen Verweigerung einer Bewilligung, die Erneuerung der Aufenthaltsbewilligung an Stelle der Erteilung der Niederlassungsbewilligung angezeigt sein (vgl. <ref-ruling> E. 3b S. 391; Alain Wurzburger, La jurisprudence récente du Tribunal fédéral en matière de police des étrangers, in RDAF 53/1997 S. 320).
Im Rahmen der vorzunehmenden Interessenabwägung wird auch den Anforderungen von Art. 8 Ziff. 2 EMRK Rechnung getragen (vgl. <ref-ruling> E. 3b/bb S. 442).
c) Je länger ein Ausländer in der Schweiz anwesend war, desto strengere Anforderungen sind grundsätzlich an die Anordnung einer Ausweisung bzw. an die Verweigerung einer Bewilligung zu stellen. Zu berücksichtigen ist auch, in welchem Alter der Ausländer in die Schweiz eingereist ist.
Selbst bei einem Ausländer, der bereits hier geboren ist und sein ganzes bisheriges Leben in der Schweiz verbracht hat (Ausländer der "zweiten Generation"), ist eine Ausweisung nach der bundesgerichtlichen Rechtsprechung nicht ausgeschlossen (<ref-ruling> E. 2b S. 523 f.; <ref-ruling> E. 2 und 3 S. 435 ff.). Dies gilt umso mehr für Ausländer, die - wie der Beschwerdeführer 1 - erst als Jugendlicher in die Schweiz gelangt sind (vgl. <ref-ruling>: Einreise im Alter von zwölf Jahren, neun Jahre Anwesenheit).
Die Ausweisung sowie die Verweigerung einer Bewilligung sind im Übrigen eher zulässig, wenn der Ausländer, obwohl er seit längerer Zeit in der Schweiz wohnt, sich nicht integriert hat, hauptsächlich mit Landsleuten zusammen ist und enge Beziehungen zu seinem Heimatland pflegt sowie dessen Sprache spricht (vgl. nicht publiziertes Urteil des Bundesgerichts vom 4. Oktober 2000, 2A.310/2000, E. 3a; Alain Wurzburger, a.a.O., S. 314 und 320 ff., mit Hinweisen).
d) Die Beschwerdeführer wenden ein, bei den dem Familienvater (Beschwerdeführer 1) angelasteten Delikten sei es "um kleinere Kriminalität, fern von Gewalt, Grausamkeit, Körperverletzung und Mord" gegangen. Zudem seien sie vor der Androhung der Ausweisung begangen worden und hätten entsprechend "Anlass zu scharfer Verwarnung" gegeben. Es gehe nicht an, diese Delikte nachträglich als Ausweisungsgrund anzuführen.
Bei der Prüfung der Angemessenheit (d.h. der Verhältnismässigkeit) der Ausweisung ist vorab die Schwere des Verschuldens des Ausländers massgeblich. Dabei ist seinem Verhalten insgesamt Rechnung zu tragen. So kann die Ausweisung nach Art. 10 Abs. 1 lit. a ANAG auch dann zulässig sein, wenn einzelne strafrechtliche Verurteilungen für sich allein betrachtet nicht besonders schwer wiegen, der Ausländer aber immer wieder straffällig geworden ist. Eine Betrachtung des gesamten Verhaltens des Ausländers über einen längeren Zeitraum hinweg erscheint, angesichts der Natur dieses Ausweisungsgrunds, erst recht im Falle von Art. 10 Abs. 1 lit. b ANAG geboten, wie sich insbesondere aus der Umschreibung in Art. 16 Abs. 2 ANAV ("bei ... wiederholten Verstössen gegen gesetzliche Vorschriften oder behördliche Verfügungen; ... fortgesetzter böswilliger oder liederlicher Nichterfüllung der öffentlichrechtlichen oder privatrechtlichen Verpflichtungen; sonstiger fortgesetzter Liederlichkeit oder Arbeitsscheu") ergibt. Nur eine Gesamtbetrachtung des Verhaltens in diesem Sinn erlaubt es zu beurteilen, ob der Ausländer nicht gewillt oder nicht fähig ist, sich in die im Gaststaat geltende Ordnung einzufügen (Urteil des Bundesgerichts vom 18. August 1994, publiziert in RDAT 1995 I Nr. 53 S. 131 E. 4; nicht publizierte Urteile vom 15. November 2000, 2A.241/2000, E. 2b; vom 28. Oktober 1997, 2A.22/1997, E. 3c; Alain Wurzburger, a.a.O., S. 308).
Wohl erscheint es ausgeschlossen, einen Ausländer ausschliesslich wegen eines Verhaltens auszuweisen, das der Fremdenpolizei bereits bekannt war, als sie die Verwarnungen bzw. die Drohung der Ausweisung aussprach. Die Ausweisung muss sich zunächst auf andere, aktuellere Gegebenheiten stützen lassen. Allerdings dürfen und müssen im Rahmen der Interessenabwägung auch Vorfälle während seiner gesamten bisherigen Anwesenheit gewürdigt werden (vgl. erwähntes Urteil vom 15. November 2000, E. 2b).
Abgesehen von den beiden erwähnten strafrechtlichen Verurteilungen (zu fünf und zwölf Monaten Gefängnisstrafe), die zur Verwarnung vom 14. Januar 1997 und zur Androhung der Ausweisung vom 30. März 1998 führten, wurde der Beschwerdeführer 1 am 22. Dezember 1999 wegen einer Mitte 1997 begangenen Veruntreuung und Urkundenfälschung zu einer Zusatzstrafe von sechs Monaten verurteilt. Hinzu kommt die am 3. Mai 1999 begangene Hehlerei, die vom Bezirksamt Zofingen mit Strafbefehl vom 26. Mai 1999 mit 10 Tagen Gefängnis geahndet wurde. Der Einwand der Beschwerdeführer, es handle sich beim Bezirksamt nicht um ein Gericht, geht fehl. Der rechtskräftig gewordene Strafbefehl ist als gerichtliche Bestrafung im Sinne von Art. 10 Abs. 1 lit. a ANAG anzusehen.
Im Hinblick auf dessen Rechtskraft ist auch der Einwand, die Berechtigung dieser Verurteilung sei "höchst zweifelhaft", vorliegend unbehelflich. Ungeachtet dessen, ob die vor der genannten Ausweisungsandrohung begangenen Delikte, insbesondere die Ende 1999 abgeurteilte Tat, noch als Ausweisungsgrund herangezogen werden können, ist durch die erst danach verübte Hehlerei ein neuer Ausweisungsgrund gemäss Art. 10 Abs. 1 lit. a ANAG gegeben, zumal es sich bei diesem Delikt um ein Verbrechen handelt (vgl. Art. 9 und 160 StGB). Zwar deuten die Tatumstände und das eher geringe Strafmass von 10 Tagen Gefängnis auf einen minder schweren Fall hin. Ob die in der Folge ausgesprochene Ausweisung deshalb bundesrechtswidrig ist, hängt vom Ergebnis der Interessenabwägung ab.
e) aa) Neben der Verurteilung wegen Hehlerei wurde der Beschwerdeführer 1 während seines Aufenthaltes in der Schweiz zu insgesamt weiteren 23 Monaten Gefängnis verurteilt.
Richtig ist, dass es sich dabei zumeist um Vermögensdelikte ohne Gewaltanwendung gehandelt hatte. Es trifft auch zu, dass der Beschwerdeführer 1 zwischenzeitlich vom Vorwurf zusätzlicher Delikte, die in der ursprünglichen Ausweisungsverfügung vom 13. September 1999 noch Aufnahme gefunden hatten, freigesprochen wurde. Es bleibt indes bei den hier erwähnten rechtskräftig abgeurteilten Straftaten. Trotz entsprechender Verurteilungen, erlittener Untersuchungshaft und gar einschlägiger fremdenpolizeilicher Verwarnung bzw. Androhung hat sich der Beschwerdeführer 1 nicht von weiteren Delikten abhalten lassen. Dies belegt eine nicht unbeträchtliche kriminelle Energie des Beschwerdeführers 1, die nicht einfach mit jugendlichem Leichtsinn abzutun ist. Beim mehrfachem deliktischen Erwerb von Fahrzeugen zwecks Weiterveräusserung im Ausland kann auch nicht mehr von kleinerer Kriminalität die Rede sein.
Genügt ein einzelner Ausweisungsgrund im Rahmen der Prüfung der Verhältnismässigkeit nicht für eine Ausweisung, kann sich diese dennoch durch Einbezug zusätzlicher Aspekte, die an sich einen anderen Ausweisungsgrund begründen könnten, rechtfertigen (vgl. Urteil des Bundesgerichts vom 30. August 1998, publiziert in RDAT 1999 I Nr. 56 S. 199 E. 4b; nicht publizierte Urteile vom 15. Dezember 1997, 2A.412/1997, E. 2c; 18. Mai 1993, 2A.250/1992, E. 3b a.E.; Alain Wurzburger, a.a.O., S. 308).
bb) Den Akten zufolge hat der Beschwerdeführer 1 seine lange Erwerbslosigkeit selber verschuldet. Wie die Vorinstanz festgehalten hat, nahm er auch während des beim Appellationsgericht hängigen Verfahrens unentschuldigt eine Arbeit nicht mehr auf, wodurch er seine Stelle verlor. Nachdem das Appellationsgericht mit Wissen der Beschwerdeführer eine entsprechende Auskunft beim früheren Arbeitgeber eingeholt hatte, geht der Einwand der Beschwerdeführer fehl, die Vorinstanz habe die Gründe für den Verlust dieser Arbeit nicht abgeklärt.
Von 1995 bis November 1998 waren die Beschwerdeführer durch die Fürsorge mit Fr. 85'000.-- unterstützt worden.
Der Umfang der Unterstützungsleistungen erweist sich damit als im Sinne von Art. 10 Abs. 1 lit. d ANAG erheblich (vgl.
<ref-ruling> E. 3a-b S. 6). Trotz der einschlägigen Verwarnung vom 9. Dezember 1997 bezogen die Beschwerdeführer noch fast ein Jahr lang Fürsorge in Höhe von rund Fr. 38'000.--.
Das Fürsorgeamt hat ab Dezember 1998 jedoch keine Unterstützungsleistungen mehr erbracht. Es fragt sich daher, ob die Fürsorgeabhängigkeit im Sinne des Gesetzes "fortgesetzt" ist. Einerseits kann es nicht allein darauf ankommen, ob im Zeitpunkt des Entscheides des Appellationsgerichts Unterstützungsleistungen bezogen werden, da sonst eine Heimschaffung mit dem vorübergehenden Verzicht auf Fürsorgeleistungen verhindert werden könnte. Anderseits geht es bei der Entfernung eines Ausländers wegen Bedürftigkeit in erster Linie darum, eine zusätzliche und damit künftige Belastung der öffentlichen Wohlfahrt zu vermeiden. Ob dies der Fall sein wird, ist allerdings kaum je mit Sicherheit feststellbar. Es muss daher auf die wahrscheinliche finanzielle Entwicklung beim Ausländer abgestellt werden. Dabei ist von den aktuellen Verhältnissen im Zeitpunkt des vom Appellationsgericht zu fällenden Entscheides auszugehen (vgl. <ref-ruling> E. 3b S. 6 und Art. 105 Abs. 2 OG). Insoweit muss eine konkrete Gefahr einer fortgesetzten und erheblichen Fürsorgeabhängigkeit bestehen; blosse Bedenken genügen nicht (<ref-ruling> E. 2d S. 87). Bei der Abwägung spielen auch die Gründe, die zur Fürsorgeabhängigkeit geführt haben, eine Rolle (<ref-ruling> E. 3b S. 532 unten).
cc) Im Zeitpunkt der fremdenpolizeilichen Verwarnung vom Dezember 1997 waren der Ehemann mit 39 Verlustscheinen in Höhe von Fr. 67'842. 25 sowie mit 24 Betreibungen und die Ehefrau mit 12 Verlustscheinen in Höhe von Fr. 15'779. 10 und 11 Betreibungen verzeichnet. Bis Januar 1999 waren die Verlustscheinschulden auf Fr. 121'691.-- bzw. Fr. 24'093.-- angestiegen, um sodann bis April 2001 auf über Fr. 193'000.-- mit 93 Verlustscheinen bzw. rund Fr. 95'000.-- mit 33 Verlustscheinen anzuwachsen. Die Beschwerdeführer wenden zwar ein, das "Gros der Verlustscheinforderungen ist auf Forderungen der Geschädigten aus der früheren Delinquenz des A.X._ zurückzuführen". Es mag zwar richtig sein, dass sich bei den Verlustscheinen auch derartige Forderungen befinden. Gemäss Akten betrifft der überwiegende Anteil der Verlustscheine aber nicht bezahlte Mietzinse, Versicherungsbeiträge, Steuern, Fernmelderechnungen und dergleichen. Die Beschwerdeführer haben sich nicht bemüht, die Schulden zu stabilisieren, geschweige denn abzubauen. Gerade in der Zeit, da keine Fürsorge mehr beansprucht wurde, stiegen die Verlustscheinschulden beträchtlich an; die Beschwerdeführer blieben unter anderem Mietzins und Versicherungsbeiträge schuldig. Gemäss Akten versuchen sie, sich ihren Verpflichtungen zu entziehen. Sie schwiegen sich dazu aus, warum sie ihre laufenden Zahlungspflichten nicht ordnungsgemäss begleichen. Dies lässt insgesamt darauf schliessen, dass die Eheleute nicht gewillt oder fähig sind, sich in die geltende Ordnung einzufügen. Die prekäre finanzielle Situation der Beschwerdeführer ist nicht nur auf die deliktische Vergangenheit des Beschwerdeführers 1 zurückzuführen, sondern unter anderem auch auf mangelnden Arbeitseifer.
Nach dem Gesagten ist zudem die Besorgnis begründet und durfte die Vorinstanz damit annehmen, es bestehe die konkrete Gefahr, die Beschwerdeführer würden die öffentliche Wohlfahrt auch in Zukunft fortgesetzt und erheblich belasten.
Offensichtlich haben die Eheleute nur wegen des laufenden Ausweisungsverfahrens einstweilen auf Sozialhilfe verzichtet, ohne aber ihren laufenden finanziellen Verpflichtungen tatsächlich nachkommen zu können. Entgegen ihren unbelegten Beteuerungen hat sich erwiesen, dass sie nicht fähig sind, weitgehend selber ihre Kosten zu bestreiten.
Weder haben sie dargetan noch ist ersichtlich, dass sie in Zukunft in der Lage sein werden, nachhaltig ihre Zahlungspflichten zu erfüllen und für ihren Unterhalt selbständig zu sorgen.
f) Betreffend den Beschwerdeführer 3 (Sohn C.) erklärten die Einwohnerdienste, auch er müsse "als Konsequenz aus der Aus- bzw. Wegweisung der Eltern" die Schweiz verlassen. "Aufgrund der Tatsache, dass er in die Niederlassungsbewilligung seines Vaters A. einbezogen wurde, muss er formell ebenfalls ausgewiesen werden" (S. 4 Ziff. 5 der Verfügung vom 13. September 1999).
In <ref-ruling> E. 1d/bb S. 66 hat das Bundesgericht festgehalten, dass die Ausweisung gemäss Art. 10 ANAG nur für den Ausländer gilt, der selber einen Ausweisungsgrund gesetzt hat; bloss der Ausweisungsgrund von Art. 10 Abs. 1 lit. d ANAG (dauernde Fürsorgeabhängigkeit) könne allenfalls die Ausweisung einer ganzen Familie nach sich ziehen. Wie ausgeführt ist dieser Ausweisungstatbestand, auf den sich die Vorinstanzen ebenfalls berufen haben, vorliegend erfüllt. Darauf gründet die Ausweisung der Beschwerdeführer 3 und 4.
g) Zusammenfassend besteht gestützt auf die Ausweisungsgründe des Art. 10 Abs. 1 lit. a, b und d ANAG ein beträchtliches Interesse, die Beschwerdeführer 1, 3 und 4 aus der Schweiz auszuweisen bzw. den Beschwerdeführerinnen 2 und 4 die begehrten Bewilligungen nicht zu erteilen. Die dem gegenüberstehenden privaten Interessen der Beschwerdeführer am Verbleib vermögen das Fernhalteinteresse nicht aufzuwiegen:
aa) Zwar reiste der Beschwerdeführer 1 im 14. Lebensjahr in die Schweiz ein und hält sich hier seit 1987 auf. Er hat aber nie den Kontakt zu seiner Heimat verloren, deren Sprache er auch beherrscht. Den überwiegenden Teil seiner Schulbildung hat er in Jugoslawien genossen. Gerade Sprachschwierigkeiten führte er dafür an, dass er in der Schweiz keine berufliche Ausbildung absolviert hat. Sein Werdegang zeugt im Übrigen davon, dass er sich in der Schweiz nie richtig zu integrieren vermochte. Abgesehen von familiären Beziehungen macht er bezeichnenderweise auch keine weiteren Bindungen geltend. Wohl hat der Beschwerdeführer seine Familie in der Schweiz, nämlich die Ehefrau, die Kinder aus dieser Ehe, sowie weitere Verwandte, namentlich seine Mutter. Dieser Umstand hat den Beschwerdeführer 1 aber bislang nicht dazu bringen können, sich in die hier geltende Ordnung einzufügen. Ausserdem ist die Ehefrau, die der gleichen Muttersprache wie der Beschwerdeführer 1 ist, erst 1993 aufgrund der Heirat in die Schweiz gekommen, so dass - unabhängig davon, ob sie selber in der Schweiz bleiben kann oder nicht - es für sie nicht unzumutbar ist, mit ihrem Ehemann in Jugoslawien zu leben. Das Gleiche gilt für die Kinder, welche noch klein sind und sich daher an veränderte Verhältnisse entsprechend leichter anpassen können.
bb) Die Ehefrau (Beschwerdeführerin 2) hat zwar nicht den Ausweisungsgrund des Art. 10 Abs. 1 lit. a ANAG erfüllt. Gemäss obigen Ausführungen muss sie sich indes die Ausweisungsgründe des Art. 10 Abs. 1 lit. b und d ANAG entgegenhalten lassen. Ausserdem sind die Voraussetzungen für ein Erlöschen ihres Anspruchs weniger streng als bei ihrem Ehemann (vgl. E. 2b). Erst aufgrund der Heirat mit dem Beschwerdeführer 1 gelangte sie 1993 im Erwachsenenalter in die Schweiz und erhielt die Aufenthaltsbewilligung. Noch bevor ein Anspruch auf Niederlassungsbewilligung überhaupt entstehen konnte, d.h. in den ersten fünf Jahren ihres Aufenthaltes (vgl. Art. 17 Abs. 1 Satz 1 und 2 ANAG), kam es auch ihrerseits zu Schuldenmacherei und umfangreicher Inanspruchnahme von Sozialhilfe. Obwohl die Behörden deswegen im Zusammenhang mit der begehrten Erneuerung der Aufenthaltsbewilligung Zweifel anmeldeten, stiegen vor allem die Verlustscheinschulden auch bei ihr in den beiden folgenden Jahren bis zum Entscheid des Appellationsgerichts weiter an.
Nachdem ihr Ehemann die Schweiz verlassen muss, so dass sie mit ihm ohnehin nur ausserhalb des Landes wird zusammenleben können, hat ihr Interesse am Verbleib auf jeden Fall hinter das Interesse an ihrer Wegweisung zurückzutreten.
cc) Das Bundesgericht ist sich bewusst, dass die Lebensverhältnisse in der Heimat der Beschwerdeführer härter sein mögen als in der Schweiz. Dies steht ihrer Aus- bzw.
Wegweisung vorliegend jedoch nicht entgegen.
3.- a) Die Verwaltungsgerichtsbeschwerde ist nach dem Gesagten abzuweisen.
b) Dem Verfahrensausgang entsprechend wären die bundesgerichtlichen Kosten den Beschwerdeführern aufzuerlegen (Art. 156 Abs. 1 OG). Da die Eingabe der bedürftigen Beschwerdeführer jedoch nicht als zum Vornherein aussichtslos erschien, ist ihrem Gesuch um unentgeltliche Rechtspflege und Verbeiständung zu entsprechen (vgl. Art. 152 Abs. 1 OG).

Demnach erkennt das Bundesgericht:
1.- Die Verwaltungsgerichtsbeschwerde wird abgewiesen.
2.- Den Beschwerdeführern wird die unentgeltliche Rechtspflege gewährt.
a) Es werden keine Kosten erhoben.
b) Advokat Dr. Walter Zähner wird als amtlicher Vertreter der Beschwerdeführer bestellt, und es wird ihm für das bundesgerichtliche Verfahren aus der Bundesgerichtskasse ein Honorar von Fr. 1'500.-- ausgerichtet.
3.- Dieses Urteil wird den Beschwerdeführern, dem Polizei- und Militärdepartement sowie dem Appellationsgericht (als Verwaltungsgericht) des Kantons Basel-Stadt und dem Bundesamt für Ausländerfragen schriftlich mitgeteilt.
_
Lausanne, 30. November 2001
Im Namen der II. öffentlichrechtlichen Abteilung
des SCHWEIZERISCHEN BUNDESGERICHTS
Der Präsident: Der Gerichtsschreiber: