Sachverhalt:
A. A.X._ und B.X._ leben seit 1988 bzw. 1993 in der Schweiz. Am 29. September 2005 stellten sie dem Bürgerrat der Bürgergemeinde Riehen ein Gesuch um Einbürgerung für sich und ihre vier minderjährigen Kinder. Der Bürgerrat lehnte das Gesuch am 14. April 2010 mit der Begründung ab, es liege eine aktuelle Betreibung gegen A.X._ vor. Auf ein Wiedererwägungsgesuch trat der Bürgerrat am 1. Juli 2010 nicht ein. Das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt eröffnete den Gesuchstellern am 23. August 2011 den entsprechenden ablehnenden Entscheid des Bürgerrates.
B. Dagegen erhoben die Gesuchsteller mit Eingaben vom 5. und 21. November 2011 Rekurs beim Regierungsrat des Kantons Basel-Stadt. Der Rekurs wurde vom Präsidialdepartement des Kantons am 1. Dezember 2011 an das Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht weitergeleitet. Dieses wies den Rekurs mit Urteil vom 29. Oktober 2012 ab. In den Erwägungen wird der Entscheid im Wesentlichen damit begründet, die fragliche einzige Betreibung als solche für sich allein vermöge die Nichteinbürgerung nicht zu rechtfertigen. Sie belege aber die Renitenz des Gesuchstellers gegenüber der hiesigen Rechtsordnung. Ergänzend wird darauf verwiesen, es seien inzwischen noch neue Betreibungen hinzugekommen.
C. A.X._ und B.X._ reichten am 10. Dezember 2012 subsidiäre Verfassungsbeschwerde beim Bundesgericht ein mit den Anträgen, das Urteil des Verwaltungsgerichts aufzuheben und der Familie X._, bestehend aus A.X._ und B.X._ sowie den minderjährigen Kindern C.X._, D.X._, E.X._ und F.X._, das Bürgerrecht der Gemeinde Riehen zu verleihen. Eventuell sei das Urteil des Verwaltungsgerichts aufzuheben und die Sache zur Neubeurteilung an die Vorinstanz zurückzuweisen. Zur Begründung wird im Wesentlichen geltend gemacht, der Entscheid des Verwaltungsgerichts verstosse gegen das Willkürverbot nach Art. 9 BV, das Rechtsgleichheitsgebot gemäss Art. 8 Abs. 1 BV sowie das Diskriminierungsverbot nach Art. 8 Abs. 2 BV.
D. Der Bürgerrat Riehen und das Appellationsgericht Basel-Stadt als Verwaltungsgericht schliessen auf Abweisung der Beschwerde. Das Justiz- und Sicherheitsdepartement des Kantons Basel-Stadt hat auf eine Vernehmlassung verzichtet. Weitere Rechtsschriften gingen nicht ein.
Erwägungen:
1. 1.1 Beschwerden gegen letztinstanzliche Verfügungen der Kantone in Einbürgerungsangelegenheiten richten sich nach den allgemeinen Bestimmungen über die Bundesrechtspflege (Art. 51 Abs. 1 des Bundesgesetzes über Erwerb und Verlust des Schweizer Bürgerrechts vom 29. September 1952, Bürgerrechtsgesetz, BüG; SR 141.0). Die Beschwerde in öffentlich-rechtlichen Angelegenheiten im Sinne von Art. 82 BGG ist gemäss Art. 83 lit. b BGG gegen Entscheide über die ordentliche Einbürgerung ausgeschlossen. Eine andere ordentliche Beschwerde fällt nicht in Betracht. Damit ist die subsidiäre Verfassungsbeschwerde gemäss Art. 113 ff. BGG im Grundsatz gegeben. Der Entscheid der Vorinstanz kann mit keinem kantonalen Rechtsmittel angefochten werden und ist daher kantonal letztinstanzlich (Art. 86 Abs. 1 lit. d BGG; BGE 135 I 265 E. 1 S. 269).
1.2 Mit der subsidiären Verfassungsbeschwerde kann nach Art. 116 BGG die Verletzung von verfassungsmässigen Rechten gerügt werden. Zur Beschwerde ist gemäss Art. 115 BGG berechtigt, wer vor der Vorinstanz am Verfahren teilgenommen (lit. a) und ein rechtlich geschütztes Interesse an der Aufhebung oder Änderung des angefochtenen Entscheids hat (lit. b).
1.2.1 Die Beschwerdeführer haben am vorinstanzlichen Verfahren teilgenommen, womit sich die in Art. 115 lit. a BGG genannte Voraussetzung als erfüllt erweist.
1.2.2 Das nach Art. 115 lit. b BGG erforderliche rechtlich geschützte Interesse kann durch kantonales oder eidgenössisches Gesetzesrecht oder unmittelbar durch ein spezielles Grundrecht oder bundesverfassungsrechtliche Verfahrensgarantien begründet sein (Urteil des Bundesgerichts 1D_6/2011 vom 12. Juni 2012, nicht publ. E. 1.1 zu BGE 138 I 305; 133 I 185 E. 4 S. 191 und E. 6.2 S. 199; 129 I 217 E. 1 S. 219).
1.2.3 Die Beschwerdeführer haben nach dem anwendbaren kantonalen Gesetzesrecht einen Anspruch auf Bürgerrechtserteilung, da die Eltern seit mehr als 15 Jahren im Kanton und seit mehr als drei Jahren in der Gemeinde Riehen und die Kinder seit ihrer Geburt im Kanton bzw. seit mehr als einem Jahr in der Gemeinde leben (vgl. § 17 Abs. 1 des basel-städtischen Bürgerrechtsgesetzes [BüRG] vom 29. April 1992 in der hier noch anwendbaren Fassung vom 24. Januar 2001). Damit sind sie bereits deswegen uneingeschränkt zur subsidiären Verfassungsbeschwerde an das Bundesgericht legitimiert.
1.2.4 Nach der neueren bundesgerichtlichen Rechtsprechung vermittelt auch das eidgenössische Bürgerrechtsgesetz die vollumfängliche Beschwerdelegitimation. Insbesondere dient Art. 14 BüG individuellen Interessen und regelt materielle Einbürgerungsvoraussetzungen konkret, indem (Mindest-)Kriterien der Eignung festgelegt werden. Art. 14 BüG verschafft damit der einbürgerungswilligen Person im Ergebnis eine hinreichend klar umschriebene Rechtsposition, die es ihr ermöglicht, sich im Verfahren der subsidiären Verfassungsbeschwerde nebst den spezifischen Grundrechten wie namentlich dem Diskriminierungsverbot (Art. 8 Abs. 2 BV) und den Parteirechten (Art. 29 Abs. 2 BV) auf das Willkürverbot (Art. 9 BV) und den Grundsatz der Rechtsgleichheit (Art. 8 Abs. 1 BV) zu berufen (BGE 138 I 305 E. 1.4 S. 309 ff.).
2. 2.1 Die Beschwerdeführer rügen, der angefochtene Entscheid sei willkürlich, da er auf eine einzige Betreibung abstelle und daraus unzulässigerweise und im Übrigen zu Unrecht eine besondere Renitenz bzw. Missachtung der schweizerischen Rechtsordnung durch den Ehemann und Vater der übrigen Gesuchsteller abgeleitet werde.
2.2 Nach Art. 14 lit. c BüG ist im Rahmen der Kontrolle der Eignung eines Gesuchstellers zur Einbürgerung insbesondere zu prüfen, ob er die schweizerische Rechtsordnung beachtet. Gemäss § 13 Abs. 1 BüRG (in der hier anwendbaren Fassung vom 29. April 1992) setzt die Aufnahme in das Bürgerrecht voraus, dass die Bewerber einen guten Leumund besitzen, mit den allgemeinen Lebensgewohnheiten und wichtigen öffentlichen Institutionen in Gemeinde, Kanton und Bund vertraut sind, die schweizerische Demokratie bejahen und die geltende Rechtsordnung respektieren sowie ihren privaten und öffentlich-rechtlichen Verpflichtungen nachkommen. Nach § 14 der basel-städtischen Verordnung in der hier anwendbaren Fassung vom 1. Dezember 2009 zum Bürgerrechtsgesetz (BüRV) erfüllt diese Voraussetzungen, wer integriert ist. Dazu zählt, dass den Zahlungsverpflichtungen nachgekommen wird; nach der ausdrücklichen Bestimmung von § 14 Abs. 2 lit. e BüRV werden Personen, die mit ihren Steuerzahlungen im Rückstand sind, sowie solche, die in den Registern des Betreibungs- oder Konkursamts mehrere offene Einträge verzeichnen, bis zur Regelung ihrer Verpflichtungen nicht eingebürgert.
2.3 Nach der ständigen Praxis des Bundesgerichts liegt Willkür in der Rechtsanwendung vor, wenn der angefochtene Entscheid offensichtlich unhaltbar ist, mit der tatsächlichen Situation in klarem Widerspruch steht, eine Norm oder einen unumstrittenen Rechtsgrundsatz krass verletzt oder in stossender Weise dem Gerechtigkeitsgedanken zuwiderläuft. Das Bundesgericht hebt einen Entscheid jedoch nur auf, wenn nicht bloss die Begründung, sondern auch das Ergebnis unhaltbar ist. Dass eine andere Lösung ebenfalls als vertretbar oder gar zutreffender erscheint, genügt nicht (BGE 138 I 305 E. 4.3 S. 319; 137 I 1 E. 2.4 S. 5 mit Hinweisen).
2.4 Der angefochtene Entscheid stützt sich zur Begründung der ungenügenden Integration in erster Linie und ausführlich auf einen Eintrag im Betreibungsregister des beschwerdeführenden Ehemannes und Vaters der übrigen Gesuchsteller. Der entsprechende Eintrag betrifft eine Busse von Fr. 190.-- des basel-städtischen Gerichts für Strafsachen, die dem Betroffenen als Taxifahrer auferlegt worden war, weil er es offenbar unterlassen hatte, das Schild "ausser Betrieb" zu aktivieren. Der Gebüsste war nach eigenen Angaben mit dieser Beurteilung nicht einverstanden; statt den Bussenentscheid anzufechten, zog er es aber vor, einfach die Busse nicht zu bezahlen und sich betreiben zu lassen. Erst unter dem Druck des Betreibungsverfahrens und allenfalls im Hinblick auf das Einbürgerungsgesuch wurde die Busse beglichen. Die Vorinstanzen leiten daraus eine massgebliche Renitenz des Beschwerdeführers ab, die belege, dass er nicht bereit sei, die schweizerische Rechtsordnung zu beachten, und verneinen gestützt darauf seine Integration.
2.5 Gemäss dem klaren Wortlaut von § 14 Abs. 2 lit. e BüRV braucht es mehrere offene Einträge im Betreibungsregister, um eine genügende Integration zu verneinen. Überdies gilt der Ausschluss der Einbürgerung ebenfalls nach dem klaren Wortlaut der Bestimmung bis zur Regelung der Verpflichtungen. Der Beschwerdeführer hat von der Anzahl her eine Busse, weil er damit nicht einverstanden war, nicht beglichen und sich nicht wiederholt behördlichen Anordnungen oder Forderungen widersetzt. Die unangefochten gebliebene Busse konnte im Übrigen geregelt werden. Selbst unter Willkürgesichtspunkten erscheint es mehr als fraglich, ob es mit § 14 BüRV in Einklang zu bringen ist, allein daraus eine massgebliche Nichtbeachtung der schweizerischen Rechtsordnung abzuleiten. Eine solche liesse sich überdies ohnehin einzig dem direkt gebüssten Beschwerdeführer selbst und nicht der ganzen Familie, jedenfalls nicht seiner ebenfalls beschwerdeführenden Ehefrau entgegenhalten. Dass das angefochtene Urteil in E. 3.2 allein schon gestützt auf diesen Zusammenhang den gegen alle Familienmitglieder ergangenen Nichteinbürgerungsentscheid schützt, erscheint daher fragwürdig.
2.6 Lediglich beiläufig erwähnt der angefochtene Entscheid in E. 3.3, dass seit dem erstinstanzlichen Entscheid weitere und erhebliche Betreibungen hinzugekommen sind und dass diese ergänzend negativ bei der Erfüllung der privaten und öffentlich-rechtlichen Verpflichtungen mitberücksichtigt werden müssten. Die Beschwerdeführer fechten die tatsächlichen Feststellungen der Vorinstanz ausdrücklich nicht an. Diese sind daher für das Bundesgericht verbindlich. Im Übrigen findet die Feststellung weiterer Betreibungen ihre Grundlage in den vorinstanzlichen Akten, reichte der Bürgerrat doch dem Verwaltungsgericht am 31. Mai 2012 eine detaillierte Aufstellung der im damaligen Zeitpunkt hängigen Betreibungen ein. Daraus ergibt sich, dass damals gegen den Ehemann drei Betreibungen im Gesamtbetrag von Fr. 5'136.35 liefen und ein Verlustschein über Fr. 2'416.90 bestand und gegen die Ehefrau fünf Betreibungen im Gesamtbetrag von Fr. 4'526.75 hängig waren und ebenfalls fünf Verlustscheine über insgesamt Fr. 5'156.15 vorlagen. Unter Berücksichtigung all dieser Betreibungen war es daher im Ergebnis nicht willkürlich, den Gesuchstellern im fraglichen Zeitpunkt die erforderliche Integration abzusprechen. Allerdings gibt es einzig gestützt auf die ausstehenden Zahlungen bzw. nichtbeglichenen Schulden bisher keine genügenden Anhaltspunkte für die Annahme einer grundsätzlichen Nichtbeachtung der schweizerischen Rechtsordnung.
3. Die Beschwerdeführer berufen sich sodann auf das allgemeine Rechtsgleichheitsgebot nach Art. 8 Abs. 1 BV sowie auf das Diskriminierungsverbot gemäss Art. 8 Abs. 2 BV. Sie belassen es dabei aber bei allgemein gehaltenen Rügen und vermögen die behaupteten Ungleichheiten weder im einen noch im anderen Zusammenhang näher aufzuzeigen. So nennen sie keine konkreten Vergleichsfälle, die eine allgemeine Ungleichbehandlung belegen könnten. Ohne Vergleich gibt es aber keine Rechtsungleichheit. Sodann vermögen die Beschwerdeführer nicht aufzuzeigen, weshalb bzw. inwiefern sie diskriminiert sein sollten. Der allgemeine Hinweis auf ihre Herkunft genügt dafür nicht, sondern es bräuchte konkrete Anhaltspunkte für eine systematische massgebliche Benachteiligung, insbesondere von Landsleuten aufgrund der Herkunft. Die Vorbringen der Beschwerdeführer sind mithin ungeeignet, die behaupteten Verfassungsverstösse zu belegen.
4. Der angefochtene Entscheid erweist sich demnach als verfassungskonform. Sollte es den Beschwerdeführern freilich gelingen, ihre Schuldensituation zu bereinigen, stünden unerfüllte Zahlungsverpflichtungen einer Einbürgerung nicht mehr im Wege. Mangelnde Integration wegen Nichtbeachtung der schweizerischen Rechtsordnung ist jedenfalls heute nicht belegt. Allerdings verweisen die Beschwerdeführer selbst auf die Arbeitsunfähigkeit des Ehemannes und Vaters und den noch offenen Ausgang des entsprechenden Verfahrens auf Erteilung einer Rente der Invalidenversicherung sowie auf die Abhängigkeit der Familie vom alleinigen Einkommen der Ehefrau und Mutter. Ob es überhaupt und gegebenenfalls wann es zu einer Schuldenbereinigung kommen könnte, erscheint somit offen.
5. Die Beschwerde erweist sich als unbegründet und ist abzuweisen.
Die unterliegenden Beschwerdeführer stellen ein Gesuch um Erteilung der unentgeltlichen Rechtspflege und Verbeiständung, so wie es ihnen bereits vor der Vorinstanz gewährt worden ist. Angesichts der wenig überzeugenden Hauptbegründung im angefochtenen Entscheid und den sich stellenden Rechtsfragen erscheinen die Rechtsbegehren der nachweislich bedürftigen Beschwerdeführer nicht als von vornherein aussichtslos, weshalb ihnen die unentgeltliche Rechtspflege und Verbeiständung zu gewähren ist (Art. 64 BGG). Demnach sind für das bundesgerichtliche Verfahren keine Kosten zu erheben, und es ist dem Rechtsvertreter der Beschwerdeführer dafür aus der Bundesgerichtskasse eine angemessene Entschädigung auszurichten.
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege für das bundesgerichtliche Verfahren wird gutgeheissen und es wird den Beschwerdeführern Advokat Oliver Borer als unentgeltlicher Rechtsbeistand beigegeben.
3. Es werden keine Gerichtskosten erhoben.
4. Advokat Oliver Borer wird aus der Gerichtskasse eine Entschädigung von Fr. 2'000.-- ausgerichtet.
5. Dieses Urteil wird den Beschwerdeführern, dem Bürgerrat der Bürgergemeinde Riehen, dem Justiz- und Sicherheitsdepartement sowie dem Appellationsgericht des Kantons Basel-Stadt als Verwaltungsgericht schriftlich mitgeteilt.
Lausanne, 29. April 2013
Im Namen der I. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Fonjallaz
Der Gerichtsschreiber: Uebersax