Sachverhalt:
A. Der aus Mazedonien stammende A._, geb. 1979, reiste im August 1995 im Rahmen des Familiennachzugs in die Schweiz ein und erhielt die Aufenthaltsbewilligung. Im Februar 1999 heiratete er in seiner Heimat die Landsmännin B._, geb. 1979, welcher in der Folge die Aufenthaltsbewilligung zum Verbleib beim Ehemann erteilt wurde. Die Ehegatten haben zwei gemeinsame in der Schweiz geborene Kinder, C._ (geb. 2000) und D._ (geb. 2002), welche ihrerseits über eine von A._ abgeleitete Aufenthaltsbewilligung verfügen.
Zwischen 1998 und 2007 wurde A._ unter anderem wegen qualifizierter Widerhandlung und mehrfachen Übertretungen gegen das Betäubungsmittelgesetz sowie verschiedener Verstösse gegen die Strassenverkehrsordnung zu 27 Monaten Gefängnis sowie zu diversen Bussen verurteilt.
B. Am 7. November 2005 verweigerte das Ausländeramt des Kantons Schaffhausen A._ die Erteilung der Niederlassungsbewilligung unter anderem wegen dessen hoher Verschuldung sowie wegen drei ungelöschten Einträgen im Zentralstrafregister.
Am 1. September 2008 verfügte das Ausländeramt nach vorgängiger Gewährung des rechtlichen Gehörs die Nichtverlängerung der Jahresaufenthaltsbewilligungen von A._ sowie von B._ und den Kindern. Ein dagegen eingereichter Rekurs an den Regierungsrat des Kantons Schaffhausen blieb erfolglos (Beschluss vom 7. April 2009).
Mit Entscheid vom 8. Januar 2010 wies das Obergericht des Kantons Schaffhausen eine seitens der Betroffenen eingereichte Verwaltungsgerichtsbeschwerde ab.
C. Mit Eingabe vom 8. Februar 2010 erheben A._ und B._ mit C._ und D._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten, eventualiter subsidiäre Verfassungsbeschwerde mit den Anträgen, den Entscheid des Obergerichts aufzuheben, dieses anzuweisen, den "Widerruf der Aufenthaltsbewilligung" des Beschwerdeführers aufzuheben und die Aufenthaltsbewilligungen der Beschwerdeführer zu verlängern. Eventualiter sei die Sache zur Neubeurteilung und hinreichenden Abklärung des rechtserheblichen Sachverhalts an die Vorinstanz bzw. das kantonale Ausländeramt zurückzuweisen, subeventualiter die Vorinstanz anzuweisen, gestützt auf Art. 23 Abs. 6 (recte: 83 Abs. 6) AuG beim Bundesamt für Migration eine vorläufige Aufnahme wegen Unzumutbarkeit der Wegweisung zu beantragen. Sodann wird um unentgeltlichen Prozessführung für das Verfahren vor Bundesgericht ersucht.
Der Regierungsrat des Kantons Schaffhausen und das Bundesamt für Migration schliessen auf Abweisung der Beschwerde. Das Obergericht des Kantons Schaffhausen verzichtet auf eine Vernehmlassung, unter Verweis auf die Erwägungen im angefochtenen Entscheid.
D. Dem von den Beschwerdeführern gestellten Gesuch um aufschiebende Wirkung wurde mit Verfügung des Präsidenten der II. öffentlich-rechtlichen Abteilung vom 12. Februar 2010 entsprochen.

Erwägungen:
1. 1.1 <ref-law> schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
1.2 Entgegen der Meinung der Beschwerdeführer, bildet vorliegend nicht der Widerruf einer ausländerrechtlichen Bewilligung Streitgegenstand, sondern - bezüglich aller Betroffener - die Nichtverlängerung der Aufenthaltsbewilligung. Gemäss Art. 33 Abs. 3 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) "kann" die als befristetes Anwesenheitsrecht konzipierte Aufenthaltsbewilligung verlängert werden, wenn keine Widerrufsgründe nach Art. 62 vorliegen. Es besteht somit - auch beim Fehlen von Widerrufsgründen - im Grundsatz kein Rechtsanspruch auf Verlängerung derartiger Bewilligungen. Ein solcher ergibt sich vorliegend namentlich auch nicht aus den Bestimmungen betreffend den Familiennachzug. Da keines der betroffenen Familienangehörigen über die Niederlassungsbewilligung oder das Schweizer Bürgerrecht verfügt, fallen Art. 42 und 43 AuG als Anspruchsgrundlage zum Vornherein ausser Betracht. Auch stellt das Gesetz den Nachzug von Angehörigen von Personen mit Aufenthaltsbewilligung ins Ermessen der Behörden, womit sich auch aus Art. 44 AuG kein Rechtsanspruch ergibt (vgl. hiezu Urteil 2C_345/2009 vom 22. Oktober 2009 E. 2.2.1). Schliesslich scheitert eine Berufung auf das Recht auf Achtung des Familienlebens gemäss Art. 8 EMRK bzw. <ref-law> daran, dass vorliegend sämtlichen Familienangehörigen der weitere Aufenthalt in der Schweiz verwehrt wird, womit die Einheit und das faktische Zusammenleben der Familie durch die streitige Massnahme keine Beeinträchtigung erfährt (<ref-ruling> E. 2b/cc S. 383 mit Hinweisen; Urteile 2C_171/2009 vom 3. August 2009 E. 3 und 2C_426/2010 vom 16. Dezember 2010 E. 4.2); die Beschwerdeführer werden ihr Familienleben vielmehr im gemeinsamen Heimatland führen können.
1.3 Um allein gestützt auf das von Art. 8 EMRK bzw. <ref-law> mitumfasste Recht auf Achtung des Privatlebens einen Anwesenheitsanspruch abzuleiten, bedarf es nach der Rechtsprechung besonders intensiver, über eine normale Integration hinausgehender privater Bindungen gesellschaftlicher oder beruflicher Natur bzw. entsprechender vertiefter sozialer Beziehungen zum ausserfamiliären bzw. ausserhäuslichen Bereich (<ref-ruling> E. 3.2.1 S. 286 mit Hinweisen; Urteil 2C_266/2009 vom 2. Februar 2010, E. 3 und 4). Solche aussergewöhnlichen Verhältnisse sind vorliegend nicht zu erkennen. Beim Beschwerdeführer 1, welcher erst im Alter von 16 Jahren in die Schweiz übersiedelt ist, sprechen seine schwere Betäubungsmitteldelinquenz sowie die auch in anderen Bereichen über Jahre zu bemängelnde fehlende Rechtstreue verbunden mit der massiven Verschuldung, welche von der Vorinstanz mit ca. Fr. 90'000.-- angegeben wird, gegen eine besondere Integration im genannten Sinne. Im Unterschied zu den in der Beschwerdeschrift zitierten Präjudizien des Europäischen Gerichtshofes für Menschenrechte betreffen die dem Beschwerdeführer 1 zur Last gelegten Verfehlungen nicht Delikte, die er als Minderjähriger begangen hat, und hat er zudem - wie erwähnt - nicht seine gesamte Kindheit und Jugend im Land verbracht (vgl. Urteil 2C_18/2009 vom 7. September 2009 E. 2.3 mit Hinweisen). Die Fallkonstellationen sind schon in dieser Hinsicht nicht miteinander zu vergleichen. Auch vermag die geltend gemachte psychische Erkrankung für sich allein keinen Anwesenheitsanspruch im genannten Sinne zu begründen. Auch in Bezug auf die Beschwerdeführerin 2, welche erst mit 20 Jahren in die Schweiz kam, lässt sich in den von der Vorinstanz aufgezeigten Verhältnissen keine aussergewöhnliche Integration erkennen; daran vermag auch nichts zu ändern, dass sie seit Aufnahme einer Erwerbstätigkeit im Jahr 2008 wesentlich zur finanziellen Stabilisierung der Familie beitragen konnte. Allein der Umstand, dass die Beschwerdeführerinnen 3 und 4 in der Schweiz geboren sind, nunmehr 10- bzw. 8-jährig sind, hierzulande eingeschult wurden und entsprechend gut integriert sind, vermögen einen solchen Anspruch ebenso wenig zu begründen. In der Beschwerdeschrift wird nicht abgestritten, dass sie - zumindest mündlich - über Kenntnisse ihrer Muttersprache verfügen, dank derer ihnen eine Eingliederung ins Schulsystem des Heimatstaates ohne grössere Schwierigkeiten möglich sein sollte. Sie befinden sich nach wie vor in einem Alter, in welchem gemeinhin noch keine besonders intensiven Bindungen zum ausserfamiliären Umfeld geknüpft werden konnten, denen neben jener - altersadäquat noch im Vordergrund stehenden - zu den nächsten Angehörigen selbständige Bedeutung zukäme (vgl. <ref-ruling> E. 2c/bb S. 386). Entsprechend fehlt es in derartigen Konstellationen regelmässig an den Grundvoraussetzungen für eine Berufung auf das Recht auf Achtung des Privatlebens. Was die gesundheitlichen Probleme der jüngeren Tochter (Beschwerdeführerin 4) betrifft, wird in der Beschwerde nichts vorgebracht, was die auf Auskünfte des Bundesamtes für Migration beruhende Einschätzung der Vorinstanz, wonach die Gesundheitseinrichtungen in Mazedonien über das erforderliche Behandlungsangebot verfügen würden, als unhaltbar erscheinen liessen.
1.4 Nach dem Gesagten ergibt sich somit für die Beschwerdeführer weder unter Berufung auf das Recht auf Achtung des Privatlebens noch gestützt auf andere Garantien oder fremdenpolizeiliche Bestimmungen ein Rechtsanspruch auf die anbegehrte Verlängerung der Aufenthaltsbewilligungen. Entsprechend erweist sich die Beschwerde in öffentlich-rechtlichen Angelegenheiten als unzulässig (<ref-law>), weshalb darauf nicht einzutreten ist.
1.5 Hinsichtlich der subsidiären Verfassungsbeschwerde gebricht es am gemäss <ref-law> erforderlichen rechtlich geschützten Interesse, um die Bewilligungsverweigerung in der Sache anfechten zu können, weshalb auch insofern nicht auf das Rechtsmittel eingetreten werden kann (vgl. <ref-ruling> E. 3-6 S. 190 ff.). Eine Verletzung von Parteirechten, deren Missachtung auf eine formelle Rechtsverweigerung hinausliefe, wird nicht in einer den Begründungsanforderungen genügenden Weise geltend gemacht.
1.6 Auf den Antrag, die Vorinstanz anzuweisen, beim Bundesamt für Migration eine vorläufige Aufnahme wegen Unzumutbarkeit der Wegweisung zu beantragen, kann schon deswegen nicht eingetreten werden, weil er in der Beschwerdeschrift in keiner Weise begründet wird.
2. Nach dem Gesagten ist auf die Beschwerde nicht einzutreten.
Die Beschwerdeführer haben für das bundesgerichtliche Verfahren um unentgeltliche Rechtspflege ersucht. Aufgrund der dargestellten Rechtslage besass das vorliegende Rechtsmittel keine ernsthaften Erfolgsaussichten; das Gesuch ist demzufolge abzuweisen (<ref-law>). Somit sind die Kosten des bundesgerichtlichen Verfahrens den Beschwerdeführern unter solidarischer Haftung aufzuerlegen, wobei ihrer finanziellen Lage bei der Bemessung der Gerichtsgebühr Rechnung zu tragen ist (Art. 66 Abs. 1 und 5 in Verbindung mit <ref-law>). Parteientschädigungen sind nicht auszurichten (<ref-law>). Für eine Abänderung des angefochtenen Entscheids im Kosten- und Entschädigungspunkt (Art. 67 und 68 Abs. 5 BGG) besteht kein Anlass.

Demnach erkennt das Bundesgericht:
1. Auf die Beschwerde wird nicht eingetreten.
2. Das Gesuch um unentgeltliche Rechtspflege wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden den Beschwerdeführern auferlegt, unter solidarischer Haftung.
4. Dieses Urteil wird den Beschwerdeführern, dem Migrationsamt, dem Regierungsrat und dem Obergericht des Kantons Schaffhausen sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 24. Mai 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Moser