Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1972) reiste am 26. Juli 1991 im Rahmen des Familiennachzugs in die Schweiz ein. Er erhielt in der Folge eine Aufenthaltsbewilligung. Im April 1992 heiratete er im Kosovo seine Landsfrau Y._ (geb. 1971), die ihrerseits im April 1993 in die Schweiz einreiste und seit dem 9. Januar 2004 im Besitz der Niederlassungsbewilligung ist. Das Ehepaar hat zwei gemeinsame Söhne (A._, geb. 1994, und B._, geb. 2002), die ebenfalls über die Niederlassungsbewilligung verfügen. X._ ist gelernter Automechaniker. Er arbeitete jedoch bei verschiedenen Arbeitgebern teilweise nur kurze Zeit, war jahrelang erwerbslos, verschuldet und wurde ausgesteuert, so dass seine Familie in den letzten Jahren (ergänzend) von der öffentlichen Fürsorge unterstützt werden musste.
X._ war in der Schweiz wiederholt straffällig geworden und wurde deswegen wie folgt verurteilt:
am 20. Februar 1997 vom Bezirksgericht Zürich zu acht Monaten Gefängnis (bedingt) und einer Busse von Fr. 500.-- wegen Gehilfenschaft zur Widerhandlung gegen das Betäubungsmittelgesetz und wegen Widerhandlung gegen das Strassenverkehrsgesetz;
am 6. März 2007 (zweitinstanzlich) vom Obergericht des Kantons Zürich zu 2 Jahren Freiheitsstrafe wegen mehrfachen, teilweise versuchten Diebstahls, mehrfacher Sachbeschädigung und mehrfachen Hausfriedensbruchs.
Nach Eintritt der Rechtskraft des Urteils vom 20. Februar 1997 war X._ von der damaligen Fremdenpolizei des Kantons Zürich (heute: Migrationsamt) fremdenpolizeilich verwarnt worden (Verfügung vom 18. Mai 1998). Es wurden ihm "schwerer wiegende fremdenpolizeiliche Massnahmen in Aussicht gestellt für den Fall, dass er erneut gerichtlich bestraft werden oder sein Verhalten zu anderen berechtigten Klagen Anlass geben sollte".
B. Nachdem die Sicherheitsdirektion des Kantons Zürich (Migrationsamt) den Eheleuten X._ hiezu das rechtliche Gehör gewährt hatte, lehnte sie es mit Verfügung vom 30. August 2007 ab, die Aufenthalts-bewilligung von X._ weiter zu verlängern und setzte ihm Frist zum Verlassen des Kantonsgebiets bis zum 25. November 2007. Der gegen diese Verfügung erhobene Rekurs beim Regierungsrat des Kantons Zürich blieb erfolglos, und mit Urteil vom 21. Januar 2009 wies das Verwaltungsgericht des Kantons Zürich die gegen den regierungsrätlichen Beschluss vom 1. Oktober 2008 erhobene Beschwerde ebenfalls ab.
C. Mit Eingabe vom 3. März 2009 führt X._ beim Bundesgericht Beschwerde in öffentlich-rechtlichen Angelegenheiten mit den Anträgen, das Urteil des Verwaltungsgerichts des Kantons Zürich vom 21. Januar 2009 aufzuheben und ihm - dem Beschwerdeführer - die Aufenthaltsbewilligung zu verlängern. Gleichzeitig wird um unentgeltliche Rechtspflege und Verbeiständung ersucht.
Die Staatskanzlei des Kantons Zürich beantragt - für den Regierungsrat - Abweisung der Beschwerde. Das Verwaltungsgericht des Kantons Zürich schliesst auf Abweisung der Beschwerde, soweit darauf einzutreten sei. Das Bundesamt für Migration beantragt, die Beschwerde abzuweisen.
D. Mit Verfügung vom 5. März 2009 hat der Abteilungspräsident der Beschwerde - antragsgemäss - aufschiebende Wirkung zuerkannt.

Erwägungen:
1. 1.1 <ref-law> schliesst die Beschwerde in öffentlich-rechtlichen Angelegenheiten gegen Entscheide über ausländerrechtliche Bewilligungen aus, auf deren Erteilung weder nach dem Bundes- noch dem Völkerrecht ein Rechtsanspruch besteht.
1.2 Gemäss Art. 126 Abs. 1 des Bundesgesetzes vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20), welches am 1. Januar 2008 in Kraft getreten ist, bleibt für Gesuche, die vor diesem Zeitpunkt gestellt worden sind, das bisherige Recht anwendbar. Das muss auch gelten für Entscheide über die Verlängerung einer Aufenthaltsbewilligung, wenn sie - wie hier - noch unter der Herrschaft des bisherigen Rechts ergangen sind (vgl. Urteil 2C_657/2007 vom 26. Mai 2008, E. 1.2). Die vorliegende Streitsache ist daher noch nach dem inzwischen aufgehobenen Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und seinen Ausführungserlassen zu beurteilen.
1.3 Gemäss Art. 17 Abs. 2 Satz 1 ANAG (in der Fassung vom 23. März 1990) hat der ausländische Ehegatte eines niedergelassenen Ausländers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen.
Der Beschwerdeführer ist mit einer in der Schweiz niederlassungsberechtigten Landsfrau verheiratet und lebt mit ihr zusammen. Damit steht ihm gestützt auf die erwähnte Bestimmung im Grundsatz ein Anspruch auf eine Aufenthaltsbewilligung zu. Ein analoger Anspruch besteht zudem aufgrund des in Art. 8 EMRK bzw. <ref-law> garantierten Rechts auf Achtung des Familienlebens, wenn - wie vorliegend die Ehefrau und die Kinder - nahe Angehörige über ein gefestigtes Anwesenheitsrecht (insbesondere die Niederlassungsbewilligung) in der Schweiz verfügen und die familiäre Beziehung tatsächlich gelebt wird und intakt ist (vgl. <ref-ruling> E. 3.1 S. 285 f.; <ref-ruling> E. 5.3.1 S. 211, je mit Hinweisen).
Die Beschwerde in öffentlich-rechtlichen Angelegenheiten erweist sich damit als zulässig (<ref-law> e contrario).
1.4 Das Bundesgericht wendet das Recht von Amtes wegen an (<ref-law>). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Immerhin prüft das Bundesgericht, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG; vgl. <ref-ruling> E. 2.1 S. 245 f.), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (<ref-ruling> E. 1.4.1 S. 254).
Eine qualifizierte Rügepflicht gilt u.a. hinsichtlich der Verletzung von Grundrechten. Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (<ref-law>; vgl. <ref-ruling> E. 1.4.2 S. 254; <ref-ruling> E. 1.4 S. 287).
1.5 Das Bundesgericht legt sodann seinem Urteil den von der Vorinstanz festgestellten Sachverhalt zugrunde (<ref-law>). Die Feststellung des Sachverhalts kann nur gerügt bzw. vom Bundesgericht von Amtes wegen berichtigt oder ergänzt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von <ref-law> beruht (<ref-law> bzw. <ref-law>). Eine entsprechende Rüge, welche rechtsgenüglich substantiiert vorzubringen ist (Art. 42 Abs. 2 und <ref-law>; vgl. <ref-ruling> E. 1.4.3 S. 254 f.), setzt zudem voraus, dass die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (<ref-law>). Neue Tatsachen und Beweismittel dürfen nur soweit vorgebracht werden, als erst der Entscheid der Vorinstanz dazu Anlass gibt (<ref-law>; vgl. <ref-ruling> E. 1.5 S. 146 f.). Der vom Beschwerdeführer als neues Beweismittel eingereichte Artikel aus der Neuen Zürcher Zeitung vom 27. Februar 2009 bleibt als echtes Novum im vorliegenden Verfahren daher unbeachtlich.
2. 2.1 Ein gemäss Art. 17 Abs. 2 ANAG bestehender Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung erlischt, wenn der Anspruchsberechtigte gegen die öffentliche Ordnung verstossen hat (Satz 4). Die betreffenden Voraussetzungen sind weniger streng als im Fall des ausländischen Ehegatten eines Schweizer Bürgers, in welchem ein Ausweisungsgrund im Sinne von Art. 10 ANAG vorliegen müsste. Die Verweigerung der Bewilligung muss jedoch verhältnismässig sein. Weil aber bereits geringere öffentliche Interessen für ein Erlöschen des Anspruches genügen, sind auch die privaten Interessen des betroffenen Ausländers weniger stark zu werten als bei einer Ausweisung (vgl. <ref-ruling> E. 4 S. 130 f.; <ref-ruling> E. 3a S. 390).
Eine vergleichbare Interessenabwägung setzt im Übrigen gemäss Art. 8 Ziff. 2 EMRK auch ein Eingriff in das Recht auf Achtung des Familienlebens voraus (<ref-ruling> E. 2 S. 5 f. mit Hinweisen). Unter diesem Gesichtswinkel ist namentlich zu fragen, ob den nahen Familienangehörigen zugemutet werden kann, dem Ausländer, der keine Bewilligung erhält, ins Ausland zu folgen. Die Zumutbarkeit der Ausreise für nahe Familienangehörige ist umso eher zu bejahen, als sein Verhalten seinen Aufenthalt in der Schweiz als unerwünscht erscheinen lässt. Eine allfällige Unzumutbarkeit der Ausreise ist mitabzuwägen, führt aber nicht für sich allein zur Unzulässigkeit einer Bewilligungsverweigerung (<ref-ruling> E. 4b S. 131).
2.2 Mit von Bedeutung ist vorliegend auch die so genannte, auf Ehegatten von Schweizerinnen zugeschnittene und für Ehegatten von Niedergelassenen verschärft zum Zuge kommende "Zweijahresregel", wonach bei einer Verurteilung zu einer zweijährigen oder längeren Freiheitsstrafe einem Ausländer, der erstmals um eine Bewilligung ersucht oder nach bloss kurzer, ordnungsgemässer Aufenthaltsdauer deren Erneuerung beantragt, in der Regel selbst dann keine Bewilligung mehr erteilt wird, wenn dem Ehepartner die Ausreise un- oder nur schwer zumutbar ist. Es bedarf in solchen Fällen aussergewöhnlicher Umstände, um die Erteilung einer Aufenthaltsbewilligung noch zu rechtfertigen (sog. Reneja-Praxis, <ref-ruling>). Bei der Limite von zwei Jahren handelt es sich allerdings nur um einen Richtwert und nicht um eine feste Grenze (<ref-ruling> E. 4.1 S. 185 mit Hinweisen). Entscheidend kommt es auf die sich gegenüberstehenden Interessen an.
2.3 Der Beschwerdeführer wurde 1997 wegen Betäubungsmitteldelinquenz und wegen Widerhandlungen gegen das Strassenverkehrsgesetz zu einer bedingten Gefängnisstrafe von 8 Monaten verurteilt, was ein Jahr später zu einer fremdenpolizeilichen Verwarnung führte. Er hat sich in der Schweiz ausserdem des mehrfachen Diebstahls, der mehrfachen Sachbeschädigung und des mehrfachen Hausfriedensbruchs schuldig gemacht und wurde hiefür 2007 zu einer Freiheitsstrafe von zwei Jahren verurteilt.
Zwar dürfen nach <ref-law> (in der seit 1. Januar 2007 in Kraft stehenden Fassung) aus dem Strafregister entfernte Urteile dem Betroffenen nicht mehr entgegengehalten werden. An diese Urteile dürfen somit generell keine Rechtsfolgen mehr geknüpft werden (vgl. <ref-ruling> E. 2.10 mit Hinweisen; <ref-ruling> E. 2.4-2.5). Dieses Verwertungsverbot von gelöschten Strafen gilt nicht nur für die Strafverfolgungsbehörden, sondern für sämtliche Behörden, die Strafregisterdaten aus VOSTRA beziehen (PATRICK GRUBER, Basler Kommentar, N 8/9 zu <ref-law>), somit auch für das Bundesamt für Migration (<ref-law>) und für die kantonalen Fremdenpolizeibehörden (<ref-law>).
Das erstgenannte Urteil aus dem Jahre 1997 kann deshalb nicht mehr Anlass für die Anordnung einer fremdenpolizeilichen Massnahme gegenüber dem Beschwerdeführer sein (vgl. zur Entfernungsfrist von zehn Jahren <ref-law>). Bei der im Rahmen der Verhältnismässigkeitsprüfung vorzunehmenden ausländerrechtlichen Interessenabwägung kann indessen nicht ausgeblendet werden, wie sich der betroffene Ausländer während seiner gesamten Anwesenheit in der Schweiz verhalten hat. Für die ausländerrechtliche Interessenabwägung ist demnach das Verwertungsverbot gemäss <ref-law> insofern zu relativieren, als es den Fremdenpolizeibehörden nicht verwehrt ist, strafrechtlich relevante Daten, die sich in ihren Akten befinden oder ihnen anderweitig bekannt sind bzw. werden, namentlich solche, die Anlass zu einer fremdenpolizeilichen Verwarnung gaben, selbst nach deren Löschung im Strafregister in die Beurteilung des Verhaltens des Ausländers während seiner gesamten Anwesenheit in der Schweiz einzubeziehen, wobei selbstverständlich weit zurückliegenden Straftaten in der Regel keine grosse Bedeutung mehr zukommen kann (Urteil 2C_477/2008 vom 24. Februar 2009, E. 3.2.1 und 3.2.2).
Nach dem Gesagten darf aber vorliegend berücksichtigt werden, dass der Beschwerdeführer trotz fremdenpolizeilicher Verwarnung erneut delinquiert hat: Das Eindringen in das "Uster Kebab Haus" und insbesondere die beiden kurz hintereinander erfolgten Einbrüche ins Zürcher Kongresshaus (als der Beschwerdeführer als Mittäter anlässlich der Zürcher Kunst- und Antiquitätenmesse Schmuck im Wert von einigen hunderttausend Franken erbeutete, vgl. S. 8 des angefochtenen Urteils), erscheinen dreist und zeugen von einer bedenklichen Entwicklung, hat sich doch der Beschwerdeführer auch von einer fremdenpolizeilichen Verwarnung nicht von zunehmend schwererer Delinquenz abhalten lassen. Er hat durch seine Verfehlungen nicht bloss wiederholt gegen die öffentliche Ordnung verstossen, sondern sogar einen Ausweisungsgrund gesetzt (Art. 10 Abs. 1 lit. a ANAG). Entsprechend gewichtig erscheint das öffentliche Interesse, ihm den weiteren Aufenthalt in der Schweiz zu versagen.
2.4 Den öffentlichen Interessen sind im Rahmen der Verhältnismässigkeitsprüfung die privaten Interessen des Beschwerdeführers an einem weiteren Verbleib in der Schweiz gegenüberzustellen. Für ihn selber, der erst im Alter von 19 Jahren in die Schweiz gekommen ist, erscheint eine Rückkehr in das Heimatland zumutbar: Er ist hier weder in persönlicher noch in beruflicher Hinsicht besonders integriert (vgl. S. 10 des angefochtenen Entscheides), zudem mussten er und seine Familie bereits von der Sozialhilfe unterstützt werden (vorne lit. A).
Wohl fallen die gegenläufigen Interessen der Ehefrau und der beiden Kinder ins Gewicht. Die Ehefrau stammt aber aus derselben Gegend wie ihr Ehemann und es wohnen dort ihre Eltern und vier ihrer Brüder zusammen mit den Familien, so dass auch ihr die Rückkehr in ihr Heimatland grundsätzlich zumutbar ist. Gleiches gilt für den jüngeren Sohn, der noch in einem relativ anpassungsfähigen Alter ist (vgl. <ref-ruling> E. 2 S. 67 f.). Für den 15-jährigen älteren Sohn ist die Situation etwas heikler; das Verwaltungsgericht hat hierzu aber ausdrücklich Stellung genommen und die verschiedenen Möglichkeiten aufgezeigt: Entweder bleibt die Ehefrau zusammen mit den Kindern in der Schweiz oder die Familie reist aus, wobei auch denkbar wäre, dass der ältere Sohn von den hier lebenden Grosseltern oder vom Onkel weiter betreut würde und ohne die Eltern in der Schweiz verbliebe.
Insgesamt erweist sich - im Lichte der vom Beschwerdeführer zu vertretenden bedenklichen Entwicklung - der Entscheid, ihm die Aufenthaltsbewilligung nicht mehr zu verlängern, als vertretbar, verhältnismässig und damit als gesetzes- und konventionskonform.
2.5 Die miterhobenen Sachverhalts- und Gehörsrügen erweisen sich als unbegründet: Soweit der Beschwerdeführer geltend macht, bei der Befragung seiner Ehefrau hätte ein Dolmetscher anwesend sein müssen, ist ihm entgegenzuhalten, dass Y._ der Kantonspolizei umfassend und detailliert über ihre Ehe- und Familiensituation Auskunft gegeben hat (nicht bloss mit "Ja" und "Nein") und im Übrigen ausdrücklich zu Protokoll gab, sie spreche "Albanisch und Deutsch" (vgl. Befragungsprotokoll vom 21. August 2007). Sodann wurden beide Elternteile zur Beziehung zu ihren Kindern und zu deren Situation befragt bzw. hatten Gelegenheit, Zusatzfragen zu stellen oder Ergänzungen anzubringen (vgl. das genannte Protokoll). Sie hatten es damit in der Hand, den Standpunkt ihrer Kinder ins Verfahren einzubringen, und sie haben dies auch getan (vgl. <ref-ruling> E. 3c S. 368 mit Hinweisen). Der gerügte Verzicht auf die mündliche Anhörung der beiden Kinder stellt daher weder eine Verletzung von <ref-law> (Anspruch auf rechtliches Gehör) noch eine solche von Art. 12 des Übereinkommens über die Rechte der Kinder (Kinderrechtekonvention, KRK; SR 0.107) dar.
3. Die Beschwerde ist als unbegründet abzuweisen.
Bei diesem Verfahrensausgang werden die Gerichtskosten dem Beschwerdeführer auferlegt (Art. 65/66 BGG). Da der angefochtene Entscheid mit der veröffentlichten Rechtsprechung des Bundesgerichts zu Art. 17 ANAG und Art. 8 EMRK in Einklang steht, kann seinem Gesuch um unentgeltliche Rechtspflege und Verbeiständung mangels Erfolgs-aussicht der Beschwerde nicht entsprochen werden (<ref-law>). Der wirtschaftlichen Lage des Beschwerdeführers wird bei der Bemessung der Gerichtsgebühr Rechnung getragen.

Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen.
2. Das Gesuch um unentgeltliche Rechtspflege und Verbeiständung wird abgewiesen.
3. Die Gerichtskosten von Fr. 1'000.-- werden dem Beschwerdeführer auferlegt.
4. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht (2. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 6. November 2009
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident Der Gerichtsschreiber:
Müller Klopfenstein