Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1960) reiste erstmals 1987 in die Schweiz ein, wo er bis 1990 als Saisonnier arbeitete. In der Folge erhielt er eine Aufenthalts- und später die Niederlassungsbewilligung.
Am 25. März 2003 stellte X._ erstmals ein Gesuch um Erteilung der Aufenthaltsbewilligung im Rahmen des Familiennachzugs für seine Ehefrau Y._ (geb. 1963) und um Erteilung der Niederlassungsbewilligung für die vier gemeinsamen, im Kosovo geborenen Kinder A._ (geb. 1985), B._ (geb. 1986), C._ (geb. 20. September 1988) und D._ (geb. 6. Oktober 1991). Am 2. Oktober 2003 wies das Ausländeramt des Kantons Schaffhausen das Gesuch ab, im Wesentlichen mit der Begründung, es sei angesichts seines Zeitpunktes rechtsmissbräuchlich. Hiegegen ergriff X._ erfolglos sämtliche kantonalen Rechtsmittel. Er gelangte schliesslich an das Bundesgericht, welches seine Verwaltungsgerichtsbeschwerde guthiess, das kantonal letztinstanzliche Urteil des Obergerichts Schaffhausen aufhob und die Sache "zu neuem Entscheid im Sinne der Erwägungen" an dieses zurückwies (Urteil 2A.31/2005 vom 26. Mai 2005). Das Bundesgericht entschied damals, X._ habe sich nicht in rechtsmissbräuchlicher Weise auf Art. 17 Abs. 2 ANAG berufen, weshalb ihm der Nachzug seiner Ehefrau und seiner vier Kinder nicht aus diesem Grund verwehrt werden dürfe. Es obliege dem Obergericht, näher abzuklären bzw. abklären zu lassen, ob der Familiennachzug allenfalls die Gefahr einer Fürsorgeabhängigkeit für die Beteiligten mit sich bringe und es sich aus diesem Grunde rechtfertigen könnte, von der Erteilung der anbegehrten fremdenpolizeilichen Bewilligungen abzusehen (E. 3.5 des genannten Urteils).
Am 11. August 2006 wies das Obergericht des Kantons Schaffhausen die Beschwerde erneut ab. Dieser Entscheid erwuchs unangefochten in Rechtskraft.
B. Am 18. September 2006 ersuchte X._ ein zweites Mal um Nachzug seiner Ehefrau Y._ und - noch - seiner Tochter C._ und seines Sohnes D._. Er machte geltend, gemäss Urteil des Bundesgerichts habe er "Anspruch auf den Nachzug seiner Ehefrau sowie all seiner Kinder". Die beiden mittlerweile volljährig gewordenen älteren Kinder wollten ihren Eltern aber nun nicht mehr in die Schweiz nachfolgen, weshalb das Gesuch auf die Ehefrau und die beiden noch minderjährigen Kinder beschränkt werde. Unter Berücksichtigung der in Aussicht stehenden Kinder- und Ausbildungszulagen, welche der Gesuchsteller erhalten werde, stehe fest, dass der Familie keine Fürsorgeabhängigkeit drohe.
Mit Verfügung vom 5. April 2007 wies das Ausländeramt des Kantons Schaffhausen auch dieses Gesuch ab. Ein hiegegen beim Regierungsrat des Kantons Schaffhausen erhobener Rekurs blieb erfolglos, und mit Urteil vom 16. Mai 2008 wies das Obergericht des Kantons Schaffhausen eine gegen den regierungsrätlichen Beschluss vom 14. August 2007 gerichtete Beschwerde ebenfalls ab.
C. Mit Eingabe vom 19. Juni 2008 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, den Entscheid des Obergerichts des Kantons Schaffhausen vom 16. Mai 2008 aufzuheben und festzustellen, dass der Ehefrau Y._ die Aufenthaltsbewilligung und den Kindern C._ und D._ die Niederlassungsbewilligung im Rahmen des Familiennachzugs zu erteilen sei.
Das Ausländeramt des Kantons Schaffhausen hat sich nicht vernehmen lassen. Der Regierungsrat beantragt, die Beschwerde abzuweisen. Das Obergericht schliesst ebenfalls auf Abweisung der Beschwerde. Das Bundesamt für Migration verzichtet darauf, einen Antrag zu stellen.

Erwägungen:
1. 1.1 <ref-law> schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
1.2 Das streitige Gesuch um Familiennachzug wurde vor Inkrafttreten des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) am 1. Januar 2008 eingereicht und beurteilt sich daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. Mai 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG) und seinen Ausführungserlassen (Art. 126 Abs. 1 AuG).
1.3 Nach Art. 4 ANAG entscheidet die zuständige Behörde, im Rahmen der gesetzlichen Vorschriften und der Verträge mit dem Ausland, nach freiem Ermessen über die Bewilligung von Aufenthalt und Niederlassung. Es besteht damit grundsätzlich kein Rechtsanspruch auf Erteilung oder Verlängerung einer Aufenthaltsbewilligung, es sei denn, der Ausländer oder seine in der Schweiz lebenden Angehörigen könnten sich auf eine Sondernorm des Bundesrechts (einschliesslich Bundesverfassungsrecht) oder eines Staatsvertrages berufen (vgl. <ref-ruling> E. 2.3 S. 189; <ref-ruling> E. 2 S. 284; <ref-ruling> E. 1.1.1 S. 148, mit Hinweisen).
1.4 Gemäss Art. 17 Abs. 2 ANAG (in der Fassung vom 23. März 1990) hat der ausländische Ehegatte eines niedergelassenen Ausländers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen. Ledige Kinder unter 18 Jahren haben Anspruch auf Einbezug in die Niederlassungsbewilligung, wenn sie mit ihren Eltern zusammen wohnen.
Der Beschwerdeführer, welcher über die Niederlassungsbewilligung verfügt, besitzt einen grundsätzlichen Anspruch auf Nachzug seiner Ehefrau, mit der er künftig zusammen zu wohnen beabsichtigt. Da die beiden nachzuziehenden Kinder im Zeitpunkt der Gesuchseinreichung, auf welchen es im Rahmen von Art. 17 Abs. 2 ANAG für die Eintretensfrage ankommt (<ref-ruling> E. 1.2 S. 252 mit Hinweisen), noch nicht 18 Jahre alt waren, steht auch ihnen im Grundsatz ein Nachzugsanspruch bzw. ein solcher auf Einbezug in die Niederlassungsbewilligung ihres Vaters zu. Der Beschwerdeführer kann sich zudem im Verhältnis zu seiner Ehefrau und zu seinem jüngsten Sohn, der auch heute (im Zeitpunkt des bundesgerichtlichen Entscheides) die Altersgrenze von 18 Jahren noch nicht überschritten hat, auf das in Art. 8 Ziff. 1 EMRK bzw. <ref-law> garantierte Recht auf Achtung des Familienlebens berufen.
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten ist insoweit zulässig und der Beschwerdeführer hierzu legitimiert (<ref-law>).
1.5 Das Bundesgericht legt seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 und Art. 106 Abs. 2 BGG; vgl. <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>).
2. Die Ansprüche aus Art. 17 Abs. 2 ANAG (vgl. E. 1.4) erlöschen, wenn der Anspruchsberechtigte gegen die öffentliche Ordnung verstossen hat. Nach der bundesgerichtlichen Rechtsprechung (<ref-ruling> E. 2d S. 87; <ref-ruling>E. 3c S. 8 f.) darf der Familiennachzug ferner verweigert werden, wenn der Gesuchsteller bzw. die nachzuziehenden Personen umgehend wieder ausgewiesen werden dürften, d.h. wenn ein Ausweisungsgrund im Sinne von Art. 10 Abs. 1 ANAG besteht wie beispielsweise Fürsorgebedürftigkeit nach Art. 10 Abs. 1 lit. d ANAG. Voraussetzung für eine Verweigerung des Nachzugs ist in diesem Fall, dass konkret die Gefahr einer fortgesetzten und erheblichen Fürsorgeabhängigkeit besteht; blosse finanzielle Bedenken genügen nicht (<ref-ruling> E. 3c S. 641).
Für die Beurteilung der Gefahr der Fürsorgeabhängigkeit ist von den aktuellen Verhältnissen auszugehen; die wahrscheinliche finanzielle Entwicklung ist aber auf längere Sicht abzuwägen. Weiter darf nicht einfach auf das Einkommen des hier anwesenden Familienangehörigen abgestellt werden, sondern es sind - dem Gesetzeszweck der Vereinigung der Gesamtfamilie entsprechend - die finanziellen Möglichkeiten aller Familienmitglieder über eine längere Sicht abzuwägen (BGE <ref-ruling> E. 3c S. 8). Das Einkommen des Angehörigen, der an die Lebenshaltungskosten der Familie beitragen soll, ist daran zu messen, ob und in welchem Umfang es tatsächlich realisierbar ist. In diesem Sinne müssen die Erwerbsmöglichkeit und das damit verbundene Einkommen konkret belegt und mit gewisser Wahrscheinlichkeit sowie, soweit möglich, auf mehr als nur kurze Frist erhärtet sein, um Berücksichtigung zu finden (BGE <ref-ruling> E. 3 S. 8/9, Urteil 2A.122/2007 vom 11. Juli 2007, E. 3.5 mit Hinweis).
3. 3.1 Als Hindernis für den Familiennachzug wird seitens der kantonalen Behörden vorliegend eine den Betroffenen konkret drohende Fürsorgeabhängigkeit geltend gemacht. Streitig ist die Zulässigkeit der dem angefochtenen Urteil zugrunde liegenden Annahme, dass das zur Verfügung stehende Einkommen des Beschwerdeführers selbst für den Unterhalt der drei noch verbleibenden nachzuziehenden Familienangehörigen nicht ausreichen würde und aufgrund eines monatlichen Fehlbetrages von Fr. 545.-- mit der Gefahr der Abhängigkeit von Sozialhilfeleistungen zu rechnen wäre.
3.2 Der Beschwerdeführer bringt nichts vor, was die diesbezüglichen tatsächlichen Feststellungen des Obergerichts als offensichtlich unrichtig erscheinen lassen würde. Zunächst kann er nichts aus dem Umstand ableiten, dass das Obergericht in seinem Urteil vom 11. August 2006 - als es um den Nachzug aller vier Kinder ging - vorweg noch von einem geringeren Fehlbetrag (monatlich bloss Fr. 354.--) ausgegangen war. Das Obergericht hat im hier angefochtenen Entscheid dargelegt (S. 14/15), dass es dem damaligen Fehlbetrag die bisherigen Wohnverhältnisse (4-Zimmer-Wohnung) zu Grunde gelegt, diese Wohnverhältnisse für eine sechsköpfige Familie aber anschliessend als unzumutbar erachtet hatte, was den Fehlbetrag - unter Berechnung der Kosten für eine notwendige durchschnittliche 6-Zimmer-Wohnung - schon damals auf Fr. 1'026.- ansteigen liess. Wieso diese Berechnung "nicht nachvollziehbar" und willkürlich sein soll (S. 9 der Beschwerdeschrift), ist weder dargetan noch ersichtlich.
Der Beschwerdeführer macht sodann zu Unrecht geltend, es hätten ihm Kinder- und Ausbildungszulagen für die beiden nachzuziehenden, heute 17 und 20 Jahre alten Jugendlichen angerechnet werden müssen: Von Vornherein ausser Betracht fallen die Kinderzulagen, die grundsätzlich bloss bis zum vollendeten 16. Altersjahr ausgerichtet werden (vgl. Art. 2 Abs. 1 des im Zeitpunkt des angefochtenen Urteils noch anwendbaren kantonalen Gesetzes vom 21. Juni 1999 über Familien- und Sozialzulagen). Vertretbar erscheint auch die Auffassung des Obergerichts, es sei mehr als fraglich, dass die nachzugswilligen Jugendlichen einen Ausbildungsplatz finden würden, der zur Ausrichtung einer Ausbildungszulage berechtige: Der Beschwerdeführer begnügt sich mit dem Hinweis, es spreche nichts dagegen, dass C._ und D._ rasch eine Arbeit bzw. einen Ausbildungsplatz finden würden, ohne darzutun, inwiefern dies mit hinreichender Wahrscheinlichkeit erwartet und über längere Zeit als genügend erhärtet erscheinen könnte (vgl. vorne E. 2, am Ende). Gleiches gilt für ein allfällig anrechenbares Zusatzeinkommen der Ehefrau, zumal in wenig konkreter Weise bloss geltend gemacht wird, Y._ werde angesichts des grossen Beziehungsnetzes der Familie in der Schweiz "ohne Zweifel schnell eine entsprechende Arbeitsstelle finden können" (S. 11 der Beschwerdeschrift).
Nach dem Gesagten ist die Auffassung des Obergerichts, bei der Berechnung des massgeblichen Familieneinkommens könnten weder Ausbildungszulagen noch allfällige weitere (Zusatz-) Einkommen berücksichtigt werden, nicht zu beanstanden.
3.3 Einzig die Behauptung, wonach der Beschwerdeführer gemäss einem im Verfahren vor Bundesgericht eingereichten Arbeitsvertrag vom 25. Januar 2008 an einer neuen Stelle einen Brutto-Grundlohn von monatlich Fr. 6'500.-- verdiene (d.h. rund Fr. 1'200.-- mehr als bisher), wäre geeignet, die Berechnungen des Obergerichts schlüssig zu entkräften. Es handelt sich hierbei aber um ein Beweismittel, welches der Beschwerdeführer - angesichts der ihm obliegenden Mitwirkungspflicht (<ref-ruling> E. 3.2 S. 486) - bereits im vorinstanzlichen Verfahren hätte einreichen müssen und welches vom Obergericht mangels eines diesbezüglichen Vorbringens nicht berücksichtigt werden konnte. Der Beschwerdeführer hatte in seiner Replikschrift (S. 4) an das Obergericht vom 13. Dezember 2007 lediglich auf ein Zwischenzeugnis seines damaligen Arbeitgebers vom 11. Dezember 2007 verwiesen, gemäss welchem ihm per 1. Januar 2008 eine "Lohnerhöhung" zugesichert werde. Es obläge aber dem Beschwerdeführer, in seiner Rechtsmitteleingabe konkret darzutun, dass und inwieweit die im angefochtenen Entscheid angestellte Berechnung durch die erwähnte "Lohnerhöhung" entscheidend entkräftet wird (<ref-law>). Der als Beschwerdebeilage an das Bundesgericht eingereichte neue Arbeitsvertrag vom 25. Januar 2008 mit einem anderen Arbeitgeber lag der Vorinstanz nicht vor, weshalb sich nicht beanstanden lässt, wenn diese sich für ihre Berechnung der Einkommensverhältnisse auf die bisherigen Vorbringen und vorhandenen Akten stützte. Da nicht erst die Begründung des angefochtenen Urteils zur Anrufung dieses Beweismittels Anlass gab, sondern die Einkommensverhältnisse des Beschwerdeführers zentraler Gegenstand des kantonalen Rechtsmittelverfahrens bildete, kann diese neue tatsächliche Behauptung auch vom Bundesgericht nicht gehört werden (vorne E. 1.5).
3.4 Damit braucht vorliegend die vom Obergericht letztlich offen gelassene Frage, ob die Geltendmachung des Nachzugsrechts für einen Teil der Familie im heutigen Zeitpunkt als rechtsmissbräuchlich anzusehen wäre, nicht weiter erörtert zu werden. Das Obergericht durfte das gestellte Nachzugsbegehren jedenfalls wegen ungenügendem Einkommen des Beschwerdeführers und konkret drohender erheblicher Sozialhilfebedürftigkeit ohne Verletzung von Bundesrecht abweisen. Die Erwägungen der Vorinstanz zu Art. 8 EMRK (vgl. S. 16 ff. des angefochtenen Entscheides, insbesondere zur Zumutbarkeit für den erst im Erwachsenenalter in die Schweiz gekommenen Beschwerdeführer, zwecks Pflege des Familienlebens gegebenenfalls in sein Heimatland zurückzukehren) halten sodann bundesgerichtlicher Überprüfung stand.
4. Die Beschwerde erweist sich nach dem Gesagten als unbegründet. Sie ist abzuweisen.
Bei diesem Verfahrensausgang sind die Gerichtskosten dem Beschwerdeführer aufzuerlegen (Art. 65/66 BGG). Parteientschädigungen sind nicht geschuldet (<ref-law>).

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Die Gerichtskosten von Fr. 1'800.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, dem Ausländeramt und dem Regierungsrat sowie dem Obergericht des Kantons Schaffhausen und dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 13. Februar 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Müller Klopfenstein