Sachverhalt:
A. Der aus dem Kosovo stammende X._ (geb. 1974) reiste 1998 in die Schweiz ein und stellte erfolglos ein Asylgesuch. Im Juni 2000 kehrte er in den Kosovo zurück, wo er am 26. März 2001 die in der Schweiz niederlassungsberechtigte Y._ (geb. 1976) heiratete und gestützt auf diese Ehe eine Aufenthaltsbewilligung erhielt. Am 30. August 2006 gelangte er in den Besitz der Niederlassungsbewilligung. Y._ hatte für ihren Mann im Jahre 2001 in A._ - am Wohnort ihrer Eltern - zunächst eine Einzimmerwohnung gemietet; sie selber blieb bei ihren Eltern an der _strasse in A._ wohnhaft. Per 15. Oktober 2002 mietete sie zusammen mit ihrem Mann eine Zweizimmerwohnung an der _strasse in B._.
Am 13. August 2007 wurde die kinderlos gebliebene Ehe geschieden. Kurz darauf, am 19. Oktober 2007, heiratete X._ im Kosovo seine Landsfrau Z._, welche unverzüglich einen Visumsantrag zur Einreise in die Schweiz im Rahmen des Familiennachzugs stellte.
B. Bereits am 15. Dezember 2006 hatte Y._ der Sicherheitsdirektion des Kantons Zürich (Migrationsamt) über einen bevollmächtigten Vertreter mitteilen lassen, X._ sei die Ehe mit ihr nur eingegangen, um in den Besitz der Niederlassungsbewilligung in der Schweiz zu gelangen. Sie habe immer bei den Eltern gelebt, nie mit ihrem Mann zusammengewohnt und sei auch nach wie vor Jungfrau (was sie mit einem Zeugnis des Triemlispitals Zürich, wonach das Hymen intakt sei, belegte). X._ habe bloss ein Spiel gespielt und - kaum habe er die Niederlassungsbewilligung erhalten - zu ihr gesagt, nun habe er keine Verpflichtungen mehr ihr gegenüber und sein Ziel sei erreicht.
C. Nachdem das Migrationsamt weitere Abklärungen vorgenommen hatte, eröffnete es am 14. Dezember 2007 ein Verfahren auf Widerruf der Niederlassungsbewilligung von X._ und gewährte diesem das rechtliche Gehör. Im Rahmen dieses Verfahrens wurde auch die ehemalige Ehefrau befragt und das entsprechende Befragungsprotokoll eröffnet; X._ erhielt die Möglichkeit zu einer weiteren Stellungnahme, welche er wahrnahm und weitere Beweismittel einreichte. Er machte geltend, beim angestrengten Verfahren handle es sich um einen Racheakt seiner Frau und deren Familie, von welcher er abgelehnt und bedroht worden sei, so dass die intimen Kontakte (mit einem Privatvideo dokumentiert) hätten verheimlicht werden müssen. Das Migrationsamt werde von seiner geschiedenen Frau - nach dem Scheitern der Ehe, welche ursprünglich eine Liebesheirat gewesen sei - offensichtlich instrumentalisiert, um dem traditionellen Rollenverständnis der Frau in der Familie gerecht zu werden. Mit Blick auf das ärztliche Attest habe Y._ offensichtlich nicht nur ihr Hymen wieder vernähen lassen, sondern sei auch bestrebt, sich von offizieller Seite bestätigen zu lassen, dass sie nie verheiratet gewesen sei bzw. allenfalls eine Scheinehe geführt habe. Von gesellschaftlichen Zwängen gesteuert, stelle sie sich selber als Opfer dar.
D. Mit Verfügung vom 19. August 2008 widerrief die Sicherheitsdirektion des Kantons Zürich (Migrationsamt) die Niederlassungsbewilligung von X._ und setzte ihm Frist zum Verlassen des Kantonsgebietes. Zur Begründung führte das Amt im Wesentlichen aus, der Betroffene sei die Ehe nur eingegangen, um eine Aufenthaltsberechtigung in der Schweiz zu erhalten. Wäre dies bekannt gewesen, hätte er weder eine Aufenthalts-, noch eine Niederlassungsbewilligung erhalten. Damit sei der Widerrufsgrund von Art. 9 Abs. 4 lit. a ANAG (Erschleichen der Bewilligung durch falsche Angaben oder wissentliches Verschweigen wesentlicher Tatsachen) erfüllt.
Der gegen diese Verfügung erhobene Rekurs beim Regierungsrat des Kantons Zürich blieb erfolglos, und mit Urteil vom 21. Dezember 2009 wies das Verwaltungsgericht des Kantons Zürich die gegen den regierungsrätlichen Beschluss vom 26. August 2009 erhobene Beschwerde ebenfalls ab.
E. Mit Eingabe vom 29. Januar 2010 führt X._ "gegen den Verwaltungsgerichtsentscheid (...) vom 21. Dezember 2009" Beschwerde in öffentlich-rechtlichen Angelegenheiten beim Bundesgericht mit dem sinngemässen Antrag, diesen sowie die Verfügung des Migrationsamtes vom 19. August 2008 aufzuheben und das Amt anzuweisen, ihm - dem Beschwerdeführer - die Niederlassungsbewilligung zu belassen. Der Beschwerdeführer sei in diesem Zusammenhang - offenbar mündlich - anzuhören.
Die Sicherheitsdirektion bzw. der Regierungsrat des Kantons Zürich haben sich nicht vernehmen lassen. Das Verwaltungsgericht des Kantons Zürich hat auf Vernehmlassung verzichtet. Das Bundesamt für Migration schliesst auf Abweisung der Beschwerde.
Erwägungen:
1. 1.1 Gemäss Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide betreffend Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt.
1.2 Am 1. Januar 2008 ist das Bundesgesetz vom 16. Dezember 2005 über die Ausländerinnen und Ausländer (AuG; SR 142.20) in Kraft getreten. Nach dessen Art. 126 Abs. 1 bleibt auf Gesuche, die vor diesem Zeitpunkt eingereicht worden sind, das bisherige Recht - d.h. das Bundesgesetz vom 26. März 1931 über Aufenthalt und Niederlassung der Ausländer (ANAG; BS 1 121) und die dazu gehörige Verordnung (ANAV; AS 1949 228) - anwendbar. Übergangsrechtlich gilt das bisherige materielle Recht - über seinen engen Wortlaut hinaus - für alle ausländerrechtlichen Verfahren, die erstinstanzlich vor Inkrafttreten des neuen Rechts eingeleitet worden sind, ob sie nun von Amtes wegen oder auf Gesuch hin eröffnet wurden (Urteil 2C_329/ 2009 vom 14. September 2009, E. 2.1, mit Hinweisen). Da das Migrationsamt dem Beschwerdeführer das rechtliche Gehör am 14. Dezember 2007 gewährt und damit das Widerrufsverfahren eingeleitet hat, ist das bisherige Recht massgebend, auch wenn dem Beschwerdeführer die entsprechende Verfügung erst am 19. August 2008 eröffnet worden ist. Soweit im Übrigen mit der vorliegenden Rechtsmitteleingabe die Aufhebung dieser Verfügung verlangt wird, ist darauf von Vornherein nicht einzutreten: Diese Verfügung ist durch das Urteil des Verwaltungsgerichts ersetzt worden (Devolutiveffekt) und gilt inhaltlich als mitangefochten (vgl. BGE 134 II 142 E. 1.4 S. 144).
1.3 Die Aufenthalts- und (später) die Niederlassungsbewilligung wurden dem Beschwerdeführer gestützt auf die inzwischen geschiedene Ehe mit der in der Schweiz niederlassungsberechtigten Y._ erteilt: Gemäss Art. 17 Abs. 2 Satz 1 ANAG (in der Fassung vom 23. März 1990) hat der ausländische Ehegatte eines niedergelassenen Ausländers Anspruch auf Erteilung und Verlängerung der Aufenthaltsbewilligung, solange die Ehegatten zusammen wohnen. Nach einem ordnungsgemässen und ununterbrochenen Aufenthalt von fünf Jahren hat er gemäss Satz 2 derselben Bestimmung Anspruch auf die Niederlassungsbewilligung. Sind die Voraussetzungen gemäss Art. 17 Abs. 2 Satz 2 ANAG erfüllt, so erwirbt der ausländische Ehegatte ein eigenes und selbständiges Niederlassungsrecht, welches mit dem Wegfall der Ehe nicht automatisch erlischt, sondern allenfalls widerrufen werden kann (und zwar nicht nach den allgemeinen Regeln über den Widerruf von Verfügungen, sondern ausschliesslich unter den Voraussetzungen von Art. 9 Abs. 4 ANAG, BGE 112 Ib 161 E. 3 S. 162 f., 473 E. 2 S. 475). Gegen solche kantonal letztinstanzliche Entscheide ist die Beschwerde in öffentlich-rechtlichen Angelegenheiten zulässig (BGE 135 II 1 E. 1.2.1).
2. 2.1 Das Bundesgericht wendet das Recht von Amtes wegen an (Art. 106 Abs. 1 BGG). Es ist folglich weder an die in der Beschwerde geltend gemachten Argumente noch an die Erwägungen der Vorinstanz gebunden. Das Bundesgericht prüft, unter Berücksichtigung der allgemeinen Rüge- und Begründungspflicht (Art. 42 Abs. 1 und 2 BGG), grundsätzlich nur die geltend gemachten Rügen, sofern die rechtlichen Mängel nicht geradezu offensichtlich sind (BGE 133 II 249 E. 1.4.1 S. 254).
Eine qualifizierte Rügepflicht gilt hinsichtlich der Verletzung von Grundrechten und von kantonalem und interkantonalem Recht. Das Bundesgericht prüft solche Rügen nur, wenn sie in der Beschwerde präzise vorgebracht und begründet worden sind (Art. 106 Abs. 2 BGG; vgl. BGE 133 II 249 E. 1.4.2 S. 254; 133 IV 286 E. 1.4 S. 287).
Der Beschwerdeführer soll in der Beschwerdeschrift nicht bloss die Rechtsstandpunkte, die er im kantonalen Verfahren eingenommen hat, erneut bekräftigen, sondern mit seiner Kritik an den als rechtsfehlerhaft erachteten Erwägungen der Vorinstanz ansetzen (vgl. BGE 121 III 397 E. 2a S. 400 sowie Urteil 4A_22/2008 vom 10. April 2008, E. 1, mit Hinweisen). Dabei muss die Begründung in der Rechtsmitteleingabe selbst enthalten sein; Verweise auf andere Rechtsschriften, insbesondere auf solche, die im kantonalen Verfahren eingereicht wurden, genügen nicht und sind unbeachtlich (BGE 133 II 396 E. 3.2 S. 400, 130 I 290 E. 4.10 S. 302).
Soweit die vorliegende Beschwerde, welche wiederholt (vgl. insbesondere S. 3-5) auf die Darstellungen in der Rekursschrift an den Regierungsrat und auf diejenigen in der Beschwerdeschrift an das Verwaltungsgericht verweist - die letztere gar zum "Bestandteil" der Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht erklärt (S. 5) - den genannten Begründungsanforderungen nicht genügt, ist darauf nicht einzutreten.
2.2 Das gilt auch für die Rügen der Verletzung von Art. 6 EMRK bzw. des Anspruchs auf rechtliches Gehör: Verfahren, in denen über die Zuerkennung oder Verweigerung eines Anwesenheitsrechts in einem Staatsgebiet entschieden wird, zählen nicht zu den zivilrechtlichen Verfahren nach Art. 6 EMRK (vgl. Christoph Grabenwarter, Europäische Menschenrechtskonvention, 3. Aufl., München/Basel/Wien 2008, S. 315). Der Beschwerdeführer kann sich insoweit somit nicht auf die Menschenrechtskonvention berufen. Er, der bei sämtlichen Instanzen anwaltlich vertreten war und ausreichend Gelegenheit hatte, alles schriftlich vorzutragen, was seinen Standpunkt stützte, tut in der Beschwerdeschrift auch nicht dar, dass und weshalb er im kantonalen Verfahren persönlich hätte angehört werden müssen; der Anspruch auf rechtliches Gehör für sich allein räumt indes grundsätzlich keinen Anspruch auf eine mündliche Anhörung ein (BGE 134 I 140 E. 5.3 S. 148 mit Hinweis). Soweit der Beschwerdeführer seinen Antrag auf persönliche Anhörung auf das bundesgerichtliche Verfahren bezieht, besteht vorliegend ebenfalls keine Anhörungspflicht (Art. 57 BGG).
2.3 Das Bundesgericht legt sodann seinem Urteil den Sachverhalt zugrunde, den die Vorinstanz festgestellt hat (Art. 105 Abs. 1 BGG). Die Feststellung des Sachverhaltes kann nur gerügt werden, wenn sie offensichtlich unrichtig ist oder auf einer Rechtsverletzung im Sinne von Art. 95 BGG beruht und wenn die Behebung des Mangels für den Ausgang des Verfahrens entscheidend sein kann (Art. 97 Abs. 1 BGG). "Offensichtlich unrichtig" bedeutet dabei "willkürlich" (BGE 133 II 249 E. 1.2.2). Im Bereich der Beweiswürdigung steht dem Sachgericht ein erheblicher Ermessensspielraum zu (BGE 120 Ia 31 E. 4b S. 40). Das Bundesgericht greift auf Beschwerde hin nur ein, wenn das Sachgericht sein Ermessen missbraucht, insbesondere offensichtlich unhaltbare Schlüsse zieht, erhebliche Beweise übersieht oder solche willkürlich ausser Acht lässt (vgl. BGE 132 III 209 E. 2.1; 129 I 8 E. 2.1; 120 Ia 31 E. 4b S. 40; 118 Ia 28 E. 1b S. 30). Nach der Rechtsprechung kann das Gericht das Beweisverfahren schliessen, wenn die Beweisanträge eine nicht erhebliche Tatsache betreffen oder offensichtlich untauglich sind oder wenn es aufgrund bereits abgenommener Beweise seine Überzeugung gebildet hat und ohne Willkür in vorweggenommener Beweiswürdigung annehmen kann, dass seine Überzeugung durch weitere Beweiserhebungen nicht geändert würde (BGE 130 II 425 E. 2.1 S. 428; 124 I 208 E. 4a S. 211).
3. 3.1 Der Widerruf der Niederlassungsbewilligung gemäss Art. 9 Abs. 4 lit. a ANAG setzt voraus, dass der Betroffene wissentlich falsche Angaben gemacht oder wesentliche Tatsachen verschwiegen hat, in der Absicht, gestützt darauf den Aufenthalt oder die Niederlassung bewilligt zu erhalten (Urteil 2A.423/2006 vom 26. Oktober 2006, E. 2.1). Nach Art. 3 Abs. 2 ANAG ist der Ausländer verpflichtet, der Behörde wahrheitsgetreu über alles Auskunft zu geben, was für den Bewilligungsentscheid massgebend sein kann. Hievon ist er selbst dann nicht befreit, wenn die Fremdenpolizeibehörde die fragliche Tatsache bei gebotener Sorgfalt selbst hätte ermitteln können. Wesentlich sind dabei nicht nur Umstände, nach denen die Fremdenpolizei ausdrücklich fragt, sondern auch solche, von denen der Gesuchsteller wissen muss, dass sie für den Bewilligungsentscheid massgeblich sind (Urteile 2A. 595/2006 vom 6. Februar 2007, E. 4.3, 2A.511/2001 vom 10. Juni 2002, publ. in: Pra 2002 Nr. 163, E. 3.2; 2A.57/2002 vom 20. Juni 2002, publ. in: Pra 2002 Nr. 165, E. 2.2, je mit Hinweisen). Dazu gehört etwa die Absicht der Nichtfortsetzung der bisherigen bzw. der Begründung einer neuen Ehe (vgl. Urteil 2C_235/2008 vom 16. Oktober 2008, E. 2.1). Ein Erschleichen der Niederlassungsbewilligung kann nach der Praxis auch darin liegen, dass die Angaben, auf die sich die Behörden bei der seinerzeitigen Erteilung der Aufenthaltsbewilligung gestützt hatten oder die bei späteren Verlängerungen der Aufenthaltsbewilligung oder bei der Erteilung der Niederlassungsbewilligung mangels anderer Angaben immer noch als massgebend betrachtet werden durften, falsch oder unvollständig waren. Es ist nicht erforderlich, dass die Bewilligung bei richtigen und vollständigen Angaben notwendigerweise zu verweigern gewesen wäre (Urteil 2A.432/2002 vom 5. Februar 2003, E. 3.5, mit Hinweisen). Immerhin ist die kantonale Behörde ihrerseits verpflichtet, vor Erteilung der Niederlassungsbewilligung "das bisherige Verhalten des Ausländers nochmals eingehend zu prüfen" (Art. 11 Abs. 1 ANAV).
3.2 Ein täuschendes Verhalten könnte hier allenfalls darin liegen, dass der Beschwerdeführer im Verfahren um Erteilung der Niederlassungsbewilligung, d.h. bereits vor Ende August 2006, wissentlich verschwiegen oder aktiv darüber hinweggetäuscht hätte, dass die Ehe bereits während der für den Erwerb der Niederlassungsbewilligung massgeblichen fünfjährigen Dauer definitiv gescheitert gewesen sei. Insofern kann für diese Vorfrage auf die Rechtsprechung zur rechtsmissbräuchlichen Berufung auf eine Ehe zurückgegriffen werden, auch wenn sie für sich allein nicht ausschlaggebend, sondern lediglich indirekt von Bedeutung ist. Ein entsprechender Sachverhalt darf allerdings nicht leichthin angenommen werden, entzieht sich in der Regel einem direkten Beweis bzw. ist oft bloss durch Indizien zu erstellen (BGE 128 II 145 E. 2.3, mit Hinweisen) und muss bereits vor Ablauf der Fünfjahresfrist gemäss Art. 7 Abs. 1 zweiter Satz ANAG, d.h. vor Erlangung des grundsätzlichen Anspruches auf die Niederlassungsbewilligung, vorgelegen haben (BGE 135 II 1 E. 4.2 S. 9 f., 121 II 97 E. 4c S. 104 f.).
3.3 Das Verwaltungsgericht hat - zum Teil unter Hinweis auf die Ausführungen des Regierungsrates - erwogen, schon die zeitlichen Abläufe (vgl. vorne lit. A) begründeten den Verdacht, dass der Beschwerdeführer planmässig und zielgerichtet zum Zweck der Erlangung eines gefestigten Anwesenheitsrechts vorgegangen sei. Nur wenige Monate nach Erteilung der Niederlassungsbewilligung hätten sich die Eheleute zur Scheidung entschlossen, worauf der Beschwerdeführer keine zwei Monate später Z._ geheiratet habe. Dies deute zwar nicht zwingend auf eine mit Y._ eingegangene Scheinehe hin, sei aber jedenfalls Indiz für eine rechtsmissbräuchliche Berufung auf die frühere Ehe vor Ablauf der Fünfjahresfrist von Art. 17 Abs. 2 Satz 2 ANAG. Sodann schützte das Verwaltungsgericht die Auffassung des Regierungsrates, im Gegensatz zu der schlüssigen und nachvollziehbaren Schilderung des Sachverhaltes durch die Ehefrau seien die Aussagen des Beschwerdeführers grossenteils widersprüchlich und in ihrer Gesamtheit unglaubhaft. Das Gericht erwog, selbst wenn man der Darstellung des Beschwerdeführers folge, habe dessen Ehefrau auch nach seinem Wegzug an die _strasse in B._ (bereits im Jahre 2002) weiterhin bei ihren Eltern in A._ übernachtet. Spätestens im Verlängerungsgesuch vom 19. August 2003 betreffend die Aufenthaltsbewilligung hätte er daher nicht ohne Hinweis auf das faktische Getrenntleben angeben dürfen, mit seiner damaligen Gattin an der _strasse in B._ zusammenzuwohnen (S. 12 des angefochtenen Entscheides).
3.4 In der Beschwerdeschrift wird nichts vorgebracht, was diese tatsächlichen Feststellungen des Verwaltungsgerichts und die von ihm daraus gezogenen rechtliche Schlussfolgerungen, wonach der Beschwerdeführer sich rechtsmissbräuchlich verhalten und seine Niederlassungsbewilligung durch Verschweigen wesentlicher Tatsachen erschlichen habe, als bundesrechtswidrig erscheinen liessen. Entgegen den Darlegungen in der Beschwerde hat das Verwaltungsgericht eben gerade nicht "allein" auf die Wohnsituation der Eheleute abgestellt, sondern es hat die mehrfach vorhandenen Indizien (zeitliche Abläufe, schlüssiges Aussageverhalten der Ehefrau, widersprüchliche Darstellungen des Beschwerdeführers [vgl. dazu insbesondere E. 7 des regierungsrätlichen Beschlusses vom 26. August 2009]) für das rechtsmissbräuchliche Verhalten umfassend geprüft und gewürdigt. Wenn das Gericht gestützt auf diese Indizienlage zum Ergebnis gelangt ist, der Beschwerdeführer hätte spätestens ab August 2003 nicht mehr angeben dürfen, dass er mit seiner Frau an der _strasse in B._ im gemeinsamen Haushalt zusammenwohne, ist dies nicht zu beanstanden; weitere Beweiserhebungen über die Gründe des faktischen Getrenntlebens erübrigten sich und sind auch vorliegend nicht notwendig (vorne E. 2.3). Hätten die zuständigen Behörden von der wahren Situation in der Ehe gewusst, wäre dem Beschwerdeführer weder die Aufenthaltsbewilligung verlängert (vgl. den Wortlaut von Art. 17 Abs. 2 Satz 1 ANAG) noch später die Niederlassungsbewilligung erteilt worden. Der Widerrufsgrund von Art. 9 Abs. 4 lit. a ANAG ist erfüllt.
3.5 Der Widerruf der Niederlassungsbewilligung erweist sich vorliegend auch nicht als unverhältnismässig: Wie das Verwaltungsgericht zutreffend festgestellt hat, ist der Beschwerdeführer erst im Erwachsenenalter in die Schweiz gekommen und darf berücksichtigt werden, dass sein hiesiges Anwesenheitsrecht jedenfalls seit Mitte September 2003 auf falschen bzw. unterlassenen Angaben gegenüber den Ausländerbehörden beruht. Es ist ihm nach den gesamten Umständen (vgl. dazu E. 5 des angefochtenen Entscheides) zuzumuten, in den Kosovo zurückzukehren, wo auch noch einer seiner Brüder und seine heutige Ehefrau leben.
4. Dies führt zur Abweisung der Beschwerde, soweit darauf einzutreten ist.
Dem Ausgang des Verfahrens entsprechend sind die Kosten der Beschwerdeführerin aufzuerlegen (Art. 65, Art. 66 Abs. 1 BGG). Eine Parteienschädigung ist nicht geschuldet (Art. 68 Abs. 3 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht (4. Kammer) des Kantons Zürich sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 7. September 2010
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Klopfenstein