Sachverhalt:
A. Der aus dem Kosovo stammende X._, geb. 1972, reiste im Februar 1993 in die Schweiz ein, wo er erfolglos um Asyl ersuchte. In der Folge wurde er wegen der Krisensituation in seiner Heimat vorläufig aufgenommen. Nach Aufhebung der vorläufigen Aufnahme wurde ihm eine Ausreisefrist bis Ende Mai 2000 angesetzt. Nachdem X._ am 24. November 2000 die 1952 geborene Schweizerin A._ geheiratet hatte, erhielt er die Aufenthaltsbewilligung zum Verbleib bei seiner Ehefrau. Am 27. Juli 2006 wurde ihm die Niederlassungsbewilligung erteilt. Nachdem der gemeinsame Haushalt im August 2003 aufgehoben und die Ehe im Mai 2007 geschieden worden war, heiratete X._ im September 2007 eine Landsfrau, mit der er seit dem 13. August 2005 eine gemeinsame Tochter hat. Am 10. September 2008 widerrief die Sicherheitsdirektion (Migrationsamt) des Kantons Zürich die Niederlassungsbewilligung und lehnte ein von X._ gestelltes Nachzugsgesuch für seine Ehefrau und die Tochter ab. Mit Beschluss vom 14. April 2010 wies der Regierungsrat des Kantons Zürich einen dagegen gerichteten Rekurs ab, mit dem X._ die Aufhebung des Widerrufs der Niederlassungsbewilligung oder subsidiär die Erteilung einer Aufenthaltsbewilligung beantragt hatte. Am 30. Juni 2010 wies das Verwaltungsgericht des Kantons Zürich, 4. Kammer, eine dagegen erhobene Beschwerde ab.
B. Mit Beschwerde in öffentlich-rechtlichen Angelegenheiten an das Bundesgericht beantragt X._, den Entscheid des Verwaltungsgerichts aufzuheben und das Migrationsamt anzuweisen, ihm eine Aufenthaltsbewilligung zu erteilen; eventuell sei die Sache zu ergänzenden Abklärungen an das Migrationsamt zurückzuweisen.
C. Die Sicherheitsdirektion und der Regierungsrat des Kantons Zürich haben innert Frist keine Stellungnahme eingereicht. Das Verwaltungsgericht hat auf eine Vernehmlassung verzichtet. Das Bundesamt für Migration reichte seine Stellungnahme verspätet ein.
D. Mit Verfügung vom 10. September 2010 erteilte der Präsident der II. öffentlich-rechtlichen Abteilung der Beschwerde die aufschiebende Wirkung.
Erwägungen:
1. 1.1 Die Eingabe des Bundesamts für Migration ist als verspätet aus dem Recht zu weisen (vgl. Art. 48 Abs. 1 BGG).
1.2 Streitgegenstand ist nach dem Rechtsbegehren des Beschwerdeführers nicht mehr der Widerruf der Niederlassungsbewilligung, sondern nur noch die Verweigerung der Aufenthaltsbewilligung.
1.3 Nach Art. 83 lit. c Ziff. 2 BGG ist die Beschwerde auf dem Gebiet des Ausländerrechts unzulässig gegen Entscheide über Bewilligungen, auf die weder das Bundesrecht noch das Völkerrecht einen Anspruch einräumt.
1.4 Das Bundesgericht wendet grundsätzlich das Recht von Amtes wegen an (Art. 106 Abs.1 BGG). Hingegen prüft es die Verletzung von Grundrechten nur insofern, als eine solche Rüge in der Beschwerde vorgebracht und begründet worden ist (Art. 106 Abs. 2 BGG).
1.5 Der Beschwerdeführer macht einen nicht offensichtlich unbegründeten Bewilligungsanspruch geltend, so dass auf die Beschwerde einzutreten ist. Ob die Voraussetzungen erfüllt sind, ist eine Frage der materiellen Prüfung (Urteil des Bundesgerichts 2C_617/2010 vom 26. November 2010, E. 1.1, mit Verweis auf BGE 136 II 177 E. 1.1 S. 179).
2. Der ausländische Ehegatte eines Schweizers, einer Schweizerin oder einer niedergelassenen Person hat nach Auflösung der Ehe oder der Familiengemeinschaft dann weiterhin einen Anspruch auf Verlängerung der Aufenthaltsbewilligung, wenn die Ehegemeinschaft mindestens drei Jahre bestanden hat und eine erfolgreiche Integration besteht (Art. 50 Abs. 1 lit. a in Verbindung mit Art. 42 und 43 AuG) oder wenn wichtige persönliche Gründe einen weiteren Aufenthalt in der Schweiz erforderlich machen (Art. 50 Abs. 1 lit. b AuG, ebenfalls in Verbindung mit Art. 42 und 43 AuG).
3. 3.1 Für die Anwendbarkeit von Art. 50 Abs. 1 lit. a AuG ist nach der bundesgerichtlichen Rechtsprechung bei der Berechnung des erforderlichen Bestandes der Ehegemeinschaft während drei Jahren nur die Zeit bis zur Aufgabe der Haushaltsgemeinschaft und nicht die Dauer der formellen Gültigkeit der Ehe massgebend (Urteil des Bundesgerichts 2C_711/2009 vom 30. April 2010, E. 2.3.1, mit Hinweisen). Das gilt jedenfalls so lange, als nicht im Sinne von Art. 49 AuG ein wichtiger Grund für eine Ausnahme vom Erfordernis des Zusammenwohnens gegeben ist. Dem Beschwerdeführer ist diese Rechtsprechung bekannt, er beruft sich jedoch auf eine abweichende Literaturmeinung (Martina Caroni, in: Caroni/Gächter/Thurnherr [Hrsg.], Bundesgesetz über die Ausländerinnen und Ausländer [AuG], Handkommentar, 2010, Art. 50 N. 16). Weshalb die bisherige Praxis zu ändern sei, legt er indessen nicht vertieft dar, und es ist dafür auch nicht ohne weiteres ein Grund ersichtlich. Im Übrigen ist der Unterschied nicht sehr gross: Selbst die vom Beschwerdeführer angerufene Literaturstelle bezieht sich auf Art. 49 AuG und bezeichnet das Vorliegen eines eigentlichen Ehewillens, der auch bei faktischem Getrenntleben weiter bestehen könne, als massgeblich. Die Ausnahme gemäss Art. 49 AuG wird jedoch vom Bundesgericht ebenfalls anerkannt. Der Beschwerdeführer vermag indessen keinen wichtigen Grund für eine Ausnahme vom gemeinsamen Haushalt oder Hinweise für den Weiterbestand des Ehewillens über die Zeit des Zusammenlebens hinaus darzutun. Es ist daher nicht zu beanstanden, wenn die Vorinstanz davon ausgegangen ist, die Ehegemeinschaft des Beschwerdeführers mit seiner früheren Gattin sei im August 2003 aufgegeben worden und habe damit keine drei Jahre gedauert.
3.2 Der Beschwerdeführer ist weiter der Auffassung, er sei nach insgesamt 17 Jahren Anwesenheit erfolgreich in der Schweiz integriert, weshalb bei ihm wichtige persönliche Gründe vorlägen, die seinen weiteren Aufenthalt im Inland zumindest im Sinne von Art. 50 Abs. 1 lit. b AuG erforderlich machen würden.
3.2.1 Nach Art. 50 Abs. 2 AuG und Art. 77 Abs. 2 VZAE können wichtige persönliche Gründe nach Art. 50 Abs. 1 lit. b AuG namentlich bei ehelicher Gewalt oder dann vorliegen, wenn die Wiedereingliederung im Herkunftsland stark gefährdet erscheint. Diese Aufzählung ist allerdings nicht abschliessend (BGE 136 II 1 E. 5.3 S. 4). Gemäss der Botschaft zum Ausländergesetz (BBl 2002 3753 f.) bezweckt Art. 50 AuG die Vermeidung von schwer wiegenden Härtefällen bei der Auflösung der ehelichen Gemeinschaft. Danach kann sich ein weiterer Aufenthalt in der Schweiz etwa dann als gerechtfertigt erweisen, wenn der Ehepartner verstorben ist oder wenn aufgrund der gescheiterten Ehe die familiäre und soziale Wiedereingliederung im Herkunftsland stark erschwert wird. Dies gilt ebenfalls, wenn gemeinsame Kinder vorhanden sind, zu denen eine enge Beziehung besteht und die in der Schweiz gut integriert sind. Zu berücksichtigen sind jedoch stets auch die Umstände, die zur Auflösung der Gemeinschaft geführt haben. Demgegenüber ist der weitere Aufenthalt nicht erforderlich, wenn die bisherige Anwesenheit nur kürzere Zeit gedauert hat, keine engen Beziehungen zur Schweiz geknüpft wurden und die erneute Integration im Herkunftsland keine besonderen Probleme stellt (BGE 136 II 1 E. 5.1 S. 3 und E. 5.3 S. 4; Urteil 2C_711/2010 vom 30. April 2010, E. 2.3.2).
3.2.2 Der Beschwerdeführer hielt sich im Zeitpunkt des vorinstanzlichen Entscheids zwar schon seit über 17 Jahren in der Schweiz auf und findet sich hier auch weitgehend zurecht. Seine persönliche Situation zeichnet sich aber nicht durch ein ausserordentlich enges Verhältnis zur Schweiz oder eine sonstige spezielle Ausgangslage aus, welche die Verweigerung der weiteren Anwesenheit als besonders hart erscheinen liesse. Zwar hat sich der Beschwerdeführer strafrechtlich nichts zu Schulden kommen lassen, ist nicht sozialhilfeabhängig und geht einer geregelten Erwerbstätigkeit nach. Das genügt aber nicht, um die Erforderlichkeit der weiteren Anwesenheit und damit einen Anspruch nach Art. 50 Abs. 1 lit. b AuG zu begründen (vgl. BGE 136 II 1 E. 5.4. S. 4; Urteil 2C_635/2009 vom 26. März 2010 E. 5.3). Der Beschwerdeführer ist noch relativ jung und erst im Alter von 21 Jahren von seiner Heimat aus in die Schweiz gelangt. Ein nicht unmassgeblicher Teil seiner hiesigen Anwesenheit geht auf die Zeit als Asylbewerber bzw. darauf zurück, dass er das Scheitern der Ehe, die ihm zur geregelten Anwesenheit verhalf, lange Zeit verschwieg. Die Ehe mit der deutlich älteren Schweizerin blieb überdies kinderlos. Zudem durfte die Vorinstanz zu Recht aus der nachmaligen Beziehung des Beschwerdeführers zu einer Landsfrau, mit der er eine gemeinsame Tochter zeugte und die er in der Folge auch heiratete, sowie aus seinen entsprechenden Aufenthalten im Heimatland den Schluss ziehen, er vermöge sich dort ohne besondere Schwierigkeiten wieder zu integrieren. Die weitere Anwesenheit in der Schweiz erweist sich damit nicht als im Sinne von Art. 50 Abs. 1 lit. b AuG erforderlich.
3.3 Dem Beschwerdeführer steht somit weder gestützt auf Art. 50 Abs. 1 lit. a AuG noch auf Art. 50 Abs. 1 lit. b AuG ein Anspruch auf Verlängerung seiner Aufenthaltsbewilligung zu. Vor dem Bundesgericht beruft er sich nicht (mehr) auf die Garantie des Privatlebens nach Art. 8 EMRK, weshalb im Unterschied zum Verwaltungsgericht darauf nicht einzugehen ist (vgl. E. 1.4).
3.4 Der angefochtene Entscheid verstösst mithin nicht gegen Bundesrecht.
4. 4.1 Die Beschwerde erweist sich als unbegründet und ist abzuweisen, soweit darauf eingetreten werden kann.
4.2 Bei diesem Verfahrensausgang wird der unterliegende Beschwerdeführer kostenpflichtig (Art. 66 Abs. 1, Art. 65 BGG). Eine Parteientschädigung ist nicht zuzusprechen (vgl. Art. 68 BGG).
Demnach erkennt das Bundesgericht:
1. Die Beschwerde wird abgewiesen, soweit darauf einzutreten ist.
2. Die Gerichtskosten von Fr. 2'000.-- werden dem Beschwerdeführer auferlegt.
3. Dieses Urteil wird dem Beschwerdeführer, der Sicherheitsdirektion, dem Regierungsrat und dem Verwaltungsgericht des Kantons Zürich, 4. Kammer, sowie dem Bundesamt für Migration schriftlich mitgeteilt.
Lausanne, 17. Januar 2011
Im Namen der II. öffentlich-rechtlichen Abteilung
des Schweizerischen Bundesgerichts
Der Präsident: Der Gerichtsschreiber:
Zünd Uebersax